全民大数据时代已来 阿里数加平台详解
　作者: 张苗苗　编辑:
　　【IT168 】业界流行一种说法，与大数据就是一枚硬币的两面，相生相惜，不可分割。在当下互联网时代，数据的价值越来越受到社会的认可，并在今天，已然成为一种普惠资源，像水、电、能源一样支持社会发展。今天，2016年的阿里云栖大会首站在上海拉开帷幕，作为本场大会的重磅新闻，阿里云全球首发了可以提供一站式大数据处理能力的平台——“数加”，并全新亮相了20款新产品，通过阿里云开放出来，让“普惠大数据”成为可能。　　　　DT时代 如何让数据从成本中心走向价值中心　　据IDC出版的数字世界研究报告显示，2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍，达到44ZB。大数据已经成为当下人类最宝贵的财富。但全球真正享受大数据红利的公司不足千分之一，人类已挖掘的数据财富更是不到百万分之一。　　如何打破传统3个月删除存储空间以节约成本的固有规则，让数据真正通过计算产生价值?　　随着大数据的蓬勃发展，数据计算性能的提升，使得数据从成本中心走向价值中心成为可能，而阿里此次发布的“数加平台”就恰恰是将这种能力赋予普通企业甚至个人的途径之一。作为数加平台的发布嘉宾，阿里云大数据事业部资深总监徐长亮介绍，经过7年的双11洗礼，原来的阿里大数据产品ODPS今天正式更名为“数加大数据平台”并通过阿里云向外界开放，提供普惠大数据服务。“我们已经预先走过了很多坑，相信可以为更多企业与个人提供高效、稳定的数据计算服务。是大数据计算变成普惠能力，将更有助于帮助大家发现数据背后的价值，我们在金融领域的试用仅是开始，未来所有的声音都将是围绕数据展开。”　　　　　　毫无疑问，借助大数据技术，阿里巴巴取得了巨大的商业成功。通过对电子商务平台上的客户行为进行分析，诞生了蚂蚁小贷、花呗、借呗;菜鸟网络通过电子面单、物流云、菜鸟天地等数据产品，为快递行业的升级提供技术方法。 在这些创新中，“数加”承载了阿里巴巴EB级别的数据加工计算，经历了上万名工程师的实战检验。据介绍，大麦网是阿里云“数加”平台的首批尝鲜者。通过采用“数加”的推荐引擎，大麦网的研发成本从900人天降低到了30人天，效率提升了30倍。　　另外，在输出自身大数据能力的同时，徐长亮介绍“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”，借助数加上的工具为各行各业提供数据服务。“这就像在淘宝开店一样，只是他们售卖的是专业能力。”徐常亮表示，阿里云计划用3年时间吸引1000家合作伙伴入驻，共同分享1万亿的大数据蛋糕。　　20款全新产品为“数加平台”增效赋能　　在过去的5年里，全球大数据计算性能实现了超过20倍的增长，100TB数据排序时间由8274秒缩短到377秒。“很显然，束缚大数据的技术瓶颈已经被完全打破，数据将从企业的成本中心转变为价值中心，2016年我们将迎来大数据应用的全面落地。”徐常亮说，通过数加平台，我们希望所有企业都能像阿里巴巴一样更高效的使用大数据。　　此次，“数加”平台首批集中发布了20款产品，覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“这些技术至少领先业界三年”，徐常亮说。　　大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎，速度更快，成本更低。经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。　　　　　　　　具体说来包括：　　1、大数据计算服务可6小时处理100PB数据，相当于1亿部高清电影。单集群规模过万台，并支持多集群联合计算。做到了速度更快，成本更低。　　经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布，大数据计算服务再降价50%。　　2、分析型数据库可实现对数据的实时多维分析，百亿量级多维查询只需100毫秒。　　3、流计算擅长对实时流式数据进行分析，具有低延时、高性能的特点。每秒查询率可以达到千万级，日均处理万亿条消息、PB量级的数据。　　计算引擎之上，“数加”提供了最丰富的云端数据开发套件，开发者可一站式完成数据加工。这些产品包含：数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。　　整体来看，大数据开发套件的优势包括：支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的Open API，可二次开发;多个数据实例之间的数据授权机制，确保数据只能使用却不可见;提供白屏化的运维能力，以及字段级数据质量监控、机器预警、资源使用率监控等功能，让用户更好的掌控自己的数据及数据任务。　　另外，计算引擎之上，“数加”提供了最丰富的云端数据开发套件，包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。　　徐长亮介绍，在数据分析方面，通过移动数据分析(Mobile Analytics)产品，开发者可快速搭建日志采集、分析系统;通过数加BI报表产品，3分钟即可完成海量数据的分析报告;通过数据可视化产品DataV，一星期就能做出双11同款大屏。　　在数据分析方面，数加提供了3款产品供开发者使用：　　1、 通过移动数据分析产品，开发者可快速搭建日志采集、分析系统，从而为用户提供个性化服务;　　2、 通过数加BI报表产品，3分钟即可完成海量数据的分析报告。产品支持多种云数据源，提供近20种可视化效果。　　3、 通过数据可视化产品DataV，一星期就能做出双11同款大屏。这款产品，曾支持了阿里巴巴多年的双11、双12作战指挥。　　　　这一平台承载了阿里云“普惠大数据”的理想，即让全球任何一个企业、个人都能用上大数据。　　同时，基于DataV，数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品，县长可以在一个屏幕下统览全县各项经济民生数据，为政府决策提供辅助。　　对于时下大热的机器学习，数加更是提供了全面支持。“数加”发布的机器学习工具，可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库，包括特征工程、大规模机器学习、深度学习等。　　为了能够帮助开发者更快捷在应用中集成大数据功能，“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。　　行业的健康发展，自律很重要。徐常亮强调，数据是客户的宝贵资产，任何云计算平台都不能移作它用。阿里云将严格遵守去年7月份发起的《数据保护倡议书》，也希望全行业能够自律，共同迎接大数据产业的爆发。　　
IT168企业级社会化媒体
了解更多>>
桂ICP备 号-1
桂公网安备 36号
阅读下一篇
Hi，看起来你很喜欢这些内容，但是你还没有登录！在你登录以后，就可以收藏感兴趣的内容，关注感兴趣的作者！架构系列（32）
Serverless架构或Serverless计算是软件架构风格向系统发展结果，而当前建立一个系统的标准是面向服务架构(SOA)或者是之微服务架构。
在微服务架构中，应用/服务被开发出来然后部署，每个服务组相关一些函数，在Serverless架构中，函数是被开发并部署到独立的平台，这个平台会照顾执行这些函数响应一些事件，举例：当有HTTP请求访问时，也许有一个函数计算计算出一个响应结果，或当一些东西写入到数据库式，会有一个专门函数来执行。
乍一看，这就让人想起了传统的存储过程，与存储过程相反，Serverless架构中的函数不仅仅限制于数据库操作事件，每个函数能够被不同编程语言实现，更远，也没有保证同样函数总是在同一个服务器上运行。
下面看看Serverless的目标和优缺点权衡。
低运营成本
微服务架构中的服务需要一直运行，实际上，在高负载情况下每个服务都不止一个实例，这样才能完成高可用性，在Serverless架构中则是没有事件发生时不会有服务运行，主机平台会只有在需要时才会执行相应的函数，按照pay-as-you-go原则，如果没有东西运行，你就不必付款。
在Serverless架构中，扩展和自动扩展是没有问题的，当负载增加，会让受影响的函数以并行方式运行得更频繁。
弹性配置也在Serverless架构中很有效率，对于传统的环境你会说：
“我愿意买3G内存，然后以后暂时就不需要再扩展了”。
而现在你会说：
“我会为X类型的30000个事件付费，为Y类型的5000个事件付费，然后以后暂时就不需要再扩展了”。
很明显，Serverless计算针对资源的使用是有效率的，特别具有运营的可操作性。
风险1：厂商锁定
平台会提供Serverless架构给大玩家，比如AWS Lambda，运行它需要使用AWS指定的服务，比如API网关，DynamoDB，S3等等，一旦你在这些服务上开发一个复杂系统，你会粘牢AWS，以后只好任由他们涨价定价了。
复杂性和低聚合
多少年来，软件工程师为高聚合和低复杂性奋斗，领域驱动设计和微服务是完美的配合，因为他们总结过去多少年的软件工程经验。
如果开发者忽视这些经验教训是会有风险的，特别是在构建Serverless架构时，它们会遭遇不可维护的函数地狱，在这个情况下，低运营成本优势也许会被更高维护成本超过。
转载：/48121
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：349275次
积分：5384
积分：5384
排名：第4066名
原创：21篇
转载：1142篇
评论：19条
(1)(1)(56)(43)(43)(47)(63)(29)(51)(124)(23)(25)(10)(27)(20)(17)(14)(1)(42)(41)(2)(20)(38)(232)(4)(3)(28)(4)(43)(20)(22)(51)(1)(21)(1)(1)(6)(1)(1)(1)Serverless，下一个趋势？ - V2EX
Serverless，下一个趋势？
16 天前 &Goodapp
如果你看过有关 2017 年技术发展的预测，特别是云计算方面的预测，一定对 Serverless Computing （无服务器计算）印象深刻。
AWS 在 2014 年推出了第一个大型无服务器计算服务（ AWS Lambda ），其他云计算巨头也纷纷在 2016 年开展了自己的 Serverless Computing 服务。对于 Serverless Computing 来说， 2017 年很可能会是收获巨大突破的一年。
事实上，在 Gartner 推出的“ 2017 年十大战略技术趋势”榜单中， Serverless Computing 赫然在列。 Gartner 将 Serverless Computing 看作是 MASA （ the mesh app and service architecture ）的重要部分，并解释说，“ MASA 是一种多通道解决方案架构，利用云计算、无服务计算、容器、微服务、 APIs 及事件等提供模块化、灵活、动态的解决方案”。 Gartner 同时提醒到，这将是一个长期的趋势，需要 IT 采用新的工具和工作方法。
所以，关于 Serverless Computing
我们应该知道哪些事？
1.Serverless Computing 并不是真的没有服务器
其实有很多人认为， Serverless Computing 一词并不是十分妥当。我们的工作负载仍然在某个服务器上运行着，只不过我们不需要以任何方式部署、配置、维护或管理这些服务器。我们甚至不需要知道所使用 VM （虚拟机）的类型和数量。
我们可以把 Serverless Computing 看作是对于终端用户的 IT 抽象和简化。虚拟化使用户不在需要知道哪些物理服务器正在运行；云计算使配置变得更容易，但仍需要用户选择 VM 类型、启动或停止服务；而 Serverless Computing 则更进一步，将 VM 类型选择、服务的启动和停止操作都省去了。
2.Serverless Computing 是云计算的一种
Serverless Computing 的另一个更具描述性的名字是 FaaS （ Function as a service ）。就像 IaaS 、 PaaS 、 SaaS 一样， FaaS 是云计算的一种。通过 FaaS ，用户为应用的某一特定功能购买必要的功能。
举个例子，假设企业有一个用来生成特定报告的分析应用。我们可以使用 Serverless Computing 来处理生成特定报告的功能。当分析应用需要完成这一报告时，服务将自动启动必要的云实例，并在功能完成后自动关闭。我们可以将 FaaS 用于整个应用程序或者某些功能。
3.Serverless Computing 在代码运行时以毫秒计费
Serverless Computing 将云计算按使用计费的模式提升到了一个新的粒度级别。例如， AWS Lambda 按代码执行的每 100 毫秒和代码的触发次数向用户收费。
4.Serverless Computing 的优势
Serverless Computing 的一个主要好处是，创建应用程序的开发者不再需要花费任何时间处理基础架构并管理应用程序。开发者仅需上传代码，支持 Serverless Computing 的平台或服务将处理其他工作。
对于企业来说，支持 Serverless Computing 的平台可以节省大量时间和成本，同时可以释放员工，让开发者得以开展更有价值的工作，而不是管理基础设施。另一方面可以提高敏捷度，更快速地推出新应用和新服务，进而提高客户满意度。
5.Serverless Computing 是 DevOps 的绝配
Serverless Computing 在 DevOps 环境中运行良好，同样源于它最大限度减少了开发者在管理服务器上所花费的工作和精力。甚至在某些情况下，允许企业采用“ NoOps ”的方法，服务器的部署和管理都已实现自动化，开发者不需要与运维人员一起同步工作。
6.Serverless Computing 与微服务架构相关
微服务架构下，开发者将应用拆分为一个个可独立构建、管理和扩展的小服务，而 ServerlessComputing 可以将之降低到更小的级别。
然而，行业内对于微服务和功能由什么组成，还存在分歧。两者之间的区别比较模糊，有些供应商在微服务和功能两个术语的使用上甚至可以互换。
需要注意的是，目前有一种趋势是将应用程序视为较小的独立部分的组件，而不是作为一个整体。
7.不需要学习新开发语言
Serverless Computing 支持广泛的编程语言和框架，大多数人员可以立即开始使用 Serverless Computing ，这样的语言支持，无疑是胜利和效率提升的一大助力。
8.Serverless Computing 具有可扩展性
对于处于快速增长期的企业， Serverless Computing 的可扩展性是其最具吸引力的特性之一。构建一个同时即适用于数百万用户又适用于数十个用户的应用，是当今开发者面临的最大挑战之一。
Serverless Computing 消除了这一挑战，因为其每个功能都可以独立扩展，而不需要员工配置额外的 VM 或实例。
9.Serverless Computing 也有缺点
首先， Serverless Computing 很新，不容易找到有经验的工作人员和工具来支持。
其次， Serverless Computing 简化了一些工作，却也让一些工作变得复杂了起来。将我们的关注点从一个大的应用程序或几个微服务，转为对几十个甚至上百个独立功能，需要有新的管理技术和流程。
第三，与每一项新技术类似， Serverless Computing 短期内很可能会给企业带来额外的花费，并对企业的管理水平提出更高要求。
10.有很多服务商提供 Serverless Computing
想要使用 Serverless Computing ，目前已有不少供应商可选。除了文章开头提到的 AWS 及 IBM 、 Azure 等几家云计算巨头，包括好雨科技在内的一些新型云计算公司同样提供专业的 Serverless Computing 服务。
Author CynthiaHarvey
Trans by 好雨科技 “支持 Serverless Computing ”
桔子主站 banner810x270 的副本.jpg)
464 次点击所在节点 &
boneyao16 天前只能寄希望于 aliyun 了
jiangzhuo15 天前按代码运行计费是好事，算是变相的按 CPU 指令计费，这样才能培养出好的服务端程序员嘛
第 1 页 ／ 共 1 页&
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到
上打开本讨论主题的完整版本。
是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
is a community of developers, designers and creative people.已报名用户，可提前15分钟进入直播间，千万不要忘记哦
基于阿里云数加平台的Serverless实践
20:00 - 21:00
适合对象：架构师
报名人数：425
价格：免费
手机上观看
张洪伦研究员/技术专家/教授
阿里云大数据业务高级专家，有比较丰富数据业务化经验，致力于让更多行业享受到大数据带来的价值，帮助客户利用大数据推动业务创新和变革。
Serverless是当今架构领域最火的话题之一，因为它又一次大幅提升了用户的资源效用效率，降低了管理成本，让devOps成为真正的事实。Serverless可以让开发者更加关注代码层面的内容，节省开发时间，提升开发效率，有可能成为下一个技术引爆点！
大数据应用流程长，业务逻辑复杂，技术门槛高。本分享将对阿里云数加平台Serverless架构进行深入解析，并深入分享典型场景案例实践，如物联网大数据应用、预测及个性化推荐等，讲述数加平台如何利用Serverless架构将数据科学家从各种工程搭建和平台运维的底层事务里面解放出来，让大家可以把精力都用在数据业务价值的发掘上。
&& Serverless简介
&& 阿里云数据平台简介
&& 大数据应用特点
&& 数加平台Serverless架构解析
&& Serverless典型场景实践案例
19:30 - 20:00&&&&& 观众签到
20:00 - 21:00&&&&& 演讲分享
21:00 - 21:10&&&&& Q&A
有任何问题请联系我们
公开课报名：基于阿里云数加平台的Serverless实践
课程名称：基于阿里云数加平台的Serverless实践
开课时间： 20:00
授课讲师：张洪伦
把公开课分享你的朋友们吧：