本文为您提供关于MaxCompute使用功能的各项更新记录。
新功能在全站已开放,如需申请试用,请参见。
感谢您对云原生大数据计算服务MaxCompute的支持,为提供更加丰富、灵活、适配客户需求的产品,MaxCompute将会调整现有的售卖规格。包年包月套餐版中的存储密集型160套餐、存储密集型320套餐、存储密集型600套餐、 非预留计算资源以及按量计费开发者版将于北京时间2022年10月31日(周一)00:00:00停止新购,于2023年04月30日(周日)00:00:00停止续订,于2023年10月31日(周二)00:00:00停止服务。
在停止服务前,您可以继续使用已购资源;在停止续订后,您将无法续费及变配;在停止续订前,控制台将保留续费功能,但包年包月资源不再支持扩容,只允许降配。因此建议购买了包年包月套餐及非预留资源的用户尽快调整至标准计算资源并配合使用;按量计费开发者版用户及时更换至按量计费标准版,以享受完整的MaxCompute核心能力服务,您可通过更换项目绑定的默认计算Quota实现,具体操作请参见(旧版控制台)或(新版控制台)。
期间您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群(钉钉群号:)联系我们。MaxCompute将于北京时间2022年09月20日(周二)先从西南1(成都)地域开始陆续发布MaxCompute新售卖规格:弹性预留CU。
弹性预留CU是在购买包年包月预留CU的基础上实现弹性扩缩容,弹性预留CU计费方式为按时按量计费,具体规格和单价请参见。购买方式无需走售卖流程,您购买包年包月预留CU后,即可通过新版控制台Quota管理的Quota配置,在Quota计划里设置一级Quota的弹性预留CU,结合Quota时间计划,实现弹性扩缩容,设置详情请参见。
如有疑问或需要帮助,请提交工单联系我们。MaxCompute将于北京时间2022年09月20日(周二)开始陆续发布MaxCompute的新版控制台。新版控制台将采用全新的域名地址,会先从西南1(成都)地域开始陆续发布新版功能,在陆续发布期间,未发布的地域会将老版本控制台嵌入到新版地址中。
MaxCompute新版控制台将提供全新的项目管理、Quota(配额)管理同时集成全新功能:弹性预留CU、自定义项目管理类角色。
- 新版控制台与老版本控制台对比。
访问新版控制台进行相关管理操作需要有MaxCompute相关的权限策略,详情请参见。
- 项目切换默认Quota。
老版本可以更新关联DataWorks工作空间的项目,并在DataWorks页面进行更新,若工作空间为标准模式则同时变更对应两个项目;新版本支持所有正常、停服状态项目变更切换,每个项目独立变更。
- Package:支持界面化创建、授权、安装Package等操作,通过界面操作实现批量授权。
- Quota模板:创建、删除二级Quota目录。
- Quota计划:全局视图进行Quota属性和CU量配置,可以按不同时间计划设置不同的Quota配置。
- 时间计划:支持设置每日不同时段调度使用不同的Quota计划配置,支持半点和整点调度。
如果原管家中开启了分时Quota功能,则会在新版中按每个时段生成对应的Quota计划,每个Quota计划的名称为
p_开始时间点
,并在时间计划里配置好每个Quota计划的调度。
老版本是在创建DataWorks工作空间的同时创建MaxCompute项目;新版本是直接创建单个MaxCompute项目,详情请参见。因此建议您继续通过DataWorks创建使用MaxCompute项目。
老版本可以删除有关联DataWorks工作空间的项目,并在删除前要求先在DataWorks上进行项目解绑,同时支持逻辑删除(逻辑删除后可恢复)和立即删除;新版本支持删除所有MaxComputes项目,删除时需要短信验证,只支持立即删除不支持逻辑删除,另外需要注意删除时不感知项目与DataWorks项目空间的关联性,因此需要在删除前需自行确认与DataWorks工作空间解绑以免删除后DataWorks项目空间不能正常操作使用。
老版本中项目状态除了随订单实例生命周期变化,支持自定义逻辑删除、恢复的状态变更;新版本项目状态同样随订单实例周期变化,同时支持自定义禁用、恢复项目。
老版本控制台没有提供界面化项目参数配置;新版本将常用的项目基础属性、权限属性、IP白名单设置都进行界面化,有权限操作的账号可直接通过新版控制台界面进行相关操作。
老版本控制台没有提供界面化项目权限管理;新版本提供界面化项目角色管理和Package管理,通过角色进行权限管理。
即MaxCompute管家中的配额管理,新版控制台提供全新的Quota管理交互。
展示一、二级Quota列表,相关参数属性为当前Quota的属性。
查看对应一级Quota的相关CU消耗趋势图,与当前管家概览CU使用趋势一致。
对一级Quota进行操作,即对对应实例进行升级、降配、续费。
对一级Quota下的二级Quota进行拆分配置、分时调度等。
- 新增自定义项目管理类角色。
在新版控制台的,支持自定义创建
admin
类型的角色,目前admin
类型角色只能通过Policy方式授权。通过此类角色,您可自定义安全管理人员的权限范围,如只能进行某个项目IP白名单配置的管理角色、只能进行某个项目数据权限管理的角色等。
11:00:00 升级上海金融云、政务云、深圳金融云地域。在升级过程中通过DataWorks提交的MaxCompute任务小概率会出现ClassNotFound
、NoClassDefFoundError
等Java类加载异常,出现异常后重试任务即可。此次升级带来的不便,望您谅解。
如有疑问或需要帮助,请提交工单联系我们。
SAMPLE函数升级前, sample(10,1)
这类用法的返回结果符合预期,但是后面如果跟上具体Hash列,返回的结果条目数量有可能有误,如果数据分布在大整数范围内,如(189550,
SAMPLE函数升级后,修正了Hash算法的Final处理方式,优化生成结果的散列效果,避免造成数据分布不均的问题。但可能会与之前旧版本产生结果不相同的问题,注意此问题不是正确性问题,示例如下。
--对于如下SQL语句
--升级前返回结果为:
--升级后返回结果为:
SAMPLE函数详细使用说明请参见。
的详细说明请参见:。
对
setproject
说明 打开Project级别的新类型的主要影响:
- 常量类型会变化。单独一个整型常量,例如123,在旧类型下是BIGINT类型,在新类型下是INT类型。
- UDF Resolve结果可能变化,例如UDF包含BIGINT和INT两个重载。旧类型下一定走BIGINT的重载,而新类型下可能会被解析到INT的重载。
MaxCompute New SQL采用的计费标准为一次SQL计算费用=计算输入数据量×SQL复杂度×SQL价格
。当天的所有计量信息在第二天做一次性汇总收费,并直接体现在您的账户账单中。
2018年1月16日流量切换公告
1月16日14:00~17:00对MaxCompute前端、Tunnel服务进行流量切换,如果出现服务连接超时或访问失败,可提交。
2018年1月10日20点新创建的项目(Project)默认禁止分区表全表扫描,即对该项目的分区表执行全表扫描语句时会返回失败,必须指定分区条件,若实在需要,可以在对分区表全表扫描的SQL语句前加一个set语句set
由于MaxCompute内部维护升级出现问题, 22:00~ 18:40期间的计算计量和存储计量未及时出账,相应账单会延后推送,但不影响最终计费结果,由此给您造成的不便深感抱歉。
2017年11月1日,阿里云数加>MaxCompute华北2(北京)数据中心将正式开服售卖。
售价与华东2、华南1一致,详情请参见。
开通时,选择什么Region您需要考虑的最主要因素是MaxCompute与其他阿里云产品之间的关系。
不同区域数据不能互通,仅针对MaxCompute而言,假如您既购买华东2又购买华北2的服务,那么MaxCompute之间的数据不互通。
如果您的云服务器ECS不在北京Region,若想访问连接北京的MaxCompute,需跨Region进行访问。跨Region访问的各种服务连接请参见。
2017年10月11日-包年包月支持自动续费
2017年10月11日,MaxCompute的包年包月实例开始支持自动续费,可在中心操作。
MaxCompute续费的操作介绍请参见,更多自动续费的介绍请参见。
2017年9月19日,阿里云数加>MaxCompute中国(香港)数据中心将正式开服售卖。
售价与华东2、华南1一致,详情请参见。
开通时,选择什么Region您需要考虑的最主要因素是MaxCompute与其他阿里云产品之间的关系。
不同区域数据是不能互通,仅针对MaxCompute而言,假如您既购买华东2又购买中国(香港)的服务,那么MaxCompute之间的数据不互通。
如果您的云服务器ECS不在中国(香港),若想访问连接中国(香港)的MaxCompute,需跨Region进行访问。跨Region访问的各种服务连接请参见。
2017年9月7日,阿里云数加>MaxCompute华南1(深圳)数据中心将正式开服售卖,这是数加>MaxCompute在中国开服的第二个区域。
华南1区域价格与华东2一致,主要分三部分进行收费:存储、计算和下载,其中计算(指SQL和MR计算任务)分包年包月、按量付费两种模式,存储和下载都是按量付费。做预算的具体的售价信息请参见或。
请您确保云账号是实名认证的账号,在开通购买页面进行区域选择时,注意选择华南1。那么什么场景适合选择区域是华南1呢?
选择地域时,您需要考虑的最主要因素是MaxCompute与其他阿里云产品之间的关系,示例如下:
-
ECS在华南1区域。ECS访问、下载华南1的MaxCompute数据都可以通过内网,快速又避免跨Region走公网下载,从而产生费用。
-
数据在华南1区域。如RDS、OSS、TableStore等在华南1区,那么在和华南1的MaxCompute进行数据传输时可以走内网,避免跨Region配置阿里云内网或VPC网络时不保证连通性的情况。
关于不同区域数据是否互通
仅针对MaxCompute而言,假如您既购买华东2又购买华南1的服务,那么MaxCompute之间的数据不互通。
如果您的云服务器ECS不在华南1,若想访问连接华南1的MaxCompute,需跨Region进行访问。跨Region访问的各种服务连接请参见。
关于数据跨Region迁移
若您原来已经开通购买华东2区域,目前想使用华南1区域,所以希望将华东2的所有数据迁移到华南1。建议您通过以下方式进行迁移。
通过配置数据集成任务进行数据同步,如在华南1区域创建好的项目中,配置数据集成任务,来读取华东2区域的表,写入到华南1区域的表中。如果遇到问题可以提工单进行咨询。
说明 如果您对新服购买有疑惑,可通过咨询或加入MaxCompute购买钉钉群(群号:)进行咨询。
MR任务当日计算费用=当日总计算时×0.46元(人民币)
一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的core数量。
如一个MR任务一次执行成功是调用了100 core并花费0.5小时,那么本次执行计算时为:0.5 小时×100 core=50个计算时。
说明 2017年9月底将全面升级开放MaxCompute2.0,MaxCompute2.0 NewSQL及非结构化(外表)处理能力公测阶段,不收取费用,具体收费时间等待官方通知。
MaxCompute2.0已经正式开始,升级后的MaxCompute2.0完全拥抱开源生态,支持更多的语言功能,带来更快的运行速度,同时新版本会执行更严格的语法检测。升级的具体时间会在分批升级时另行通知。
升级后需要对部分SQL语法做出调整,详情请参见。
-
详情请参见、、、、、、其他函数和等相关文档。
更快的SQL执行引擎:降低企业大数据分析成本,SQL执行效率更高。
通过MaxCompute SQL直接处理OSS或TableStore(OTS)数据,从而处理音频、视频、图像、气象等非结构化数据以及K-V类型的数据。
MaxCompute编译器基于MaxCompute2.0全新自主研发的SQL引擎,尤其配合使用MaxCompute Studio,提供了丰富的错误提示、警告的功能及作业排队展示。详情请参见。
- 基于InteliJ的本地开发插件
本地对MaxCompute作业进行开发、调试。
降低大数据分析成本,SQL执行效率更高。
通过MaxCompute SQL直接处理OSS或TableStore(OTS)数据,从而处理音频、视频、图像、气象等非结构化数据以及K-V类型数据。
新增DataHub模块,帮助企业数据实时上传。
基于GPU的深度学习算法框架、在线预测服务等。
如果您在系统升级过程中遇到问题,请及时联系我们。
MaxCompute在11月1日进行了计费变更。本次变更升级存储及计算两个方面:
- 升级后,修复部分SQL作业无法计费的问题。
- 升级后,解决部分场景下MaxCompute存储费用存在的问题。升级后,存储将按照实际情况收费。
以上两处之前均不存在向您多收取费用的情况,对于历史作业不做费用补收。您可以通过计量计费说明中获取账单详情,从阿里云官网获取每天详细的计量计费信息。
目前MaxCompute只有SQL作业收费(不包括UDF),UDF、MapReduce、Graph和PAI等作业仅是公测状态。具体收费计划请关注官网公告。
感谢您长期以来对MaxCompute产品的支持。