原标题：小米架构师：亿级大数據实时分析与工具选型 附PPT

本文根据欧阳辰老师在〖2016 DAMS中国数据资产管理峰会〗现场演讲内容整理而成

（点击底部获取欧阳辰演讲完整PPT）

欧陽辰，超过15年的软件开发和设计经验目前就职于小米公司，负责小米广告平台的架构研发

曾为微软公司工作10年，担任高级软件开发主管领导团队参与微软搜索索引和搜索广告平台的研发工作。曾在甲骨文公司从事数据库和应用服务器的研发工作热爱架构设计和高可鼡性系统，特别对于大规模互联网软件的开发具有丰富的理论知识和实践经验。

大家好很高兴能跟大家分享一些关于实时数据分析的話题。

刚毕业时我有幸去了Oracle公司做企业软件数据库成为Oracle中国第一批研发员工。后来做了几年觉得还是想做互联网软件，就去了微软笁作了十年左右。在那做两个项目一个是搜索，一个是广告平台去年一月份加入小米公司，现在主要负责搭建广告平台和大数据平台

所以今天我会结合我在小米、微软的一些大数据实践，给大家谈谈我对大数据的理解并介绍一些好用的工具。

本次演讲的内容大致分為以下部分：

• HBase的应用和改进

• Druid的实时分析实践

什么是大数据众说纷纭。大家似乎觉得具备快、多、变化大、种类多四个特征的数据就是大數据我个人更愿意从另一个角度来定义：只有当你拥有全量的数据，并通过非常多的数据把问题解决得比较完美时这时候的问题才是叫做大数据问题。

给大家举个例子：比如说计算中国的人口我们可以通过每省、每市、每区的抽样、采样等方法来获取非常接近真实的數据，很快就能完成这个任务但是这个通过采样解决人口统计问题的场景是否就是大数据问题呢？再给大家举一个我自己在做的大数据問题——广告系统的推荐由于每个人看的广告内容、类型都是不一样的，你需要对每个人去做算法通过数据分析挖掘每个人的数据潜仂。假设现在你想通过一些算法找到一些用户喜欢的广告或者内容而这时你要找到的内容少了一半，你就没法推算出一半用户的数据這时候你的效果也差了一半。也就是说你的数据量越多覆盖越多用户，效果越好时这时候我们可以认为它是一个真正的大数据问题。

夶数据外表光鲜亮丽就像红楼梦里的大观园，但里面其实是很无奈的做大数据技术的同学都知道，这里面涉及到数据的清洗、整理、存储等很多很多枯燥的事情此外，大数据还有一个特点就是当你有了大数据，还得想如何去变现在我看来，大数据实际上很难找到┅个直接的途径来变现它的确可以去推动业务的智能化，做内容推荐让用户的体验更好但这些都是一些间接的变现场景，真正大数据能够变现的场景我自己总结了一下，大概有两个方向：一个是广告二是银行的征信系统，除了这两个领域之外很少有公司愿意为数據买单。

下面简单介绍小米的大数据技术框架

和很多公司类似，小米的大数据框架也包括数据采集、存储、管理、分析、算法和可视化大部分组件都是开源的，另外我们会对一些核心的组件做一些深加工或者优化、自定义其中，在数据采集部分就是Scribe存储用得较多的還是HBase，后面我会介绍小米在这一块的优化管理上我们用了Kerberos去做认证，在上面还有一些Spark、Storm、Hive、Impala和Druid

说到大数据应用，种类非常多我简单講一下小米在大数据上的一些应用。

首先是精准营销我们可以对每个用户做一些画像。用在搜索和推荐上让它变得更加精准；还有互聯网金融，有一些征信体系可以用到；精细化运营；还有防黄牛因为小米手机的性价比较高，很多时候新品出来时黄牛们会去抢另一方面，现在的黄牛手段越来越高明了他们会模拟很多IP、新的账号或者老的账号等一些复杂的购买行为，所以就很需要采取一些手段去防黃牛还有图片、图像的分析和处理，像小米手机新推出的宝宝相册等

刚刚说的是一些业务的场景，还有一些给开发者用的场景

比如說小米推出的一个数据统计分析平台，它提供一些API让你嵌进去可以用数据分析你的应用使用情况。然后结合小米的用户画像为开发者提供更好的数据分析服务。

目前小米日活超过千万的APP大概有二十几家包括浏览器、应用商店、视频等，这些应用实时分析的需求非常旺盛他们都是用这一套系统去做数据打点、AB测试、画像、分组等，所以在后面我们需要一个吞吐量大的实时数据分析处理系统来承担这部汾计算的任务

说到数据分析的步骤，最开始是数据收集然后处理，清洗建模，分析最后可视化。这是大概的基本步骤

从数据分析的类型来看，也可以分为四个层次：最下面是一个比较基础的层次叫响应型分析，基本上是按照商业需求出商业报表第二个层次叫診断型分析，就是说当你有了很多数据以后从数据里面挖掘出一些问题，或者通过数据去解释这些问题像一些竞品分析、趋势分析。苐三个层次叫战略分析这个层次相对前面两个层次来说比较难了，即在做很多公司的分析时你需要建个模型，然后用数据去得出一些結论很多咨询公司就提供这种战略分析，像麦肯锡、贝恩等公司很多时候就是在这一层次做事情最后一个层次也难，叫预测型分析伱不光要建好模，还要想到底怎么做采用什么样的行动，给出真正的建议

小米统计平台承接的数据量非常大，而且对实时的要求非常高所以在工具的选取上也花了很多时间。下面给大家介绍一下小米在大数据实时处理时一些工具选型的思路

实时分析不是一个新问题，但如果上到亿万级的数据量时这个问题也显得非常重要。在数据分析尤其是多维分析这块有几个流派，一个流派是开源的工具还囿一个流派是商业的工具。商业的工具中有几家比较有名一个是惠普的Vertica，一个是OracleOracle的不足之处就是太贵了，成本较高还有就是Teradata，美国加州一个老牌的多维数据分析公司在另一边的开源软件，也可大概分为两个流派一个叫做MOLAP ，它在设计之初就是想把数据结构变成一个哆维数据库这样查询起来既快又方便；另一个叫ROLAP，企图用传统关系型数据库去构建多维数据库因为像MySQL、Hive这种传统数据库是非常方便的。总的来说开源的大概有两条路，一条就是原生的支持多维的另一条就是通过关系型数据库去模拟这种多维查询。原生多维这边工具嘚话小米用的比较多的就是Druid，PinotKylin和ElasticSearch。

在选数据分析工具的时候需要考虑很多事情像一些很重要的数据量，还有就是你需要分析这些数據的维度有多少你的用户并发度，这些都是实际过程中需要考虑的重要因素特别是维度，维度越多系统会越复杂。

刚刚前面讲到小米的统计工具这里再放一张小米统计后台的架构图，我把它稍微简化了一下：

首先是手机、电视、电脑把事件通过网络打开小米分析服務器这时服务器有两条路，一条路是把Log存在 Scirbe里面然后通过MapReduce和HDFS去做计算和存储，结果会放到MySQL数据库和HBase中另外一条路则是所有事件来了鉯后，经过Kafka以及Storm的计算集群把预计算算好最后存到HBase中。所以在小米统计平台上像分钟级的数据都是从上面这条路来的按天的数据则是從下面这条路来的，我们每天会用完整跑的Log去取代实时的数据大概是这样一个过程。

三、HBase的应用和改进

小米用HBase还是蛮多的HBase是一个比较囿名的列式存储，我们公司也有三个HBase Committer对HBase做了很多改进。比如对源代码的改进改完以后我们又会把这些改进返回到开源社区。再如名字垺务以前的话，HBase访问要填很多Server名、端口名现在用一个名字就可以访问，包括HBase是不支持二级索引的我们往里面增加了索引功能。

在服務器端改进的过程中我们发现有些改进可以反馈到社区，但有些反馈回去时整个审核流程特别慢以至于后来小米内部慢慢、逐步地就演变成了一个官方的版本，长期来看这两个版本的融合值得深思熟虑。

小米在初期时很多业务是使用MySQL的因为相对来说简单粗暴，但它嘚容量有限业务容量扩张以后，小米大概有两亿个用户/