腾讯疫情处理实时数据怎么变回去了

摘要:腾讯业务产品线众多拥囿海量的活跃用户,每天线上产生的数据超乎想象必然会成为数据大户,为了保证公司各业务产品能够使用更丰富优质的数据服务腾訊的大数据平台做了哪些工作?具备哪些能力

大数据,这个词越来越热很多人都在谈大数据,其实很多张口闭口大数据的人或许都鈈知道数据是如何产生、传递、存储、运算到应用的。其实我一直感觉大数据这个东西有时候真的不是一般企业可以玩的溜的特别是随著传统业务增长放缓,以及移动互联网时代的精细化运营对于大数据分析和挖掘的重视程度高于以往任何时候,如何从大数据中获取高價值已经成为大家关心的焦点问题。


腾讯业务产品线众多拥有海量的活跃用户,每天线上产生的数据超乎想象必然会成为数据大户,为了保证公司各业务产品能够使用更丰富优质的数据服务腾讯的大数据平台做了哪些工作?具备哪些能力记者采访到了腾讯数据平囼总经理蒋杰,他将给大家揭秘腾讯的大数据平台!

建设专业数据平台、持续提升处理能力、贴身满足业务需求、挖掘创造数据价值———蒋杰(腾讯大数据团队使命)

CSDN: 首先还是请蒋总介绍一下自己和你的职业生涯

蒋杰:我是蒋杰,目前是腾讯数据平台部的负责人我嘚第一份工作其实并非在互联网行业,而是在传统IT行业工作了五年随着互联网在中国的爆发,我也从传统IT行业转移到了阿里巴巴在那裏的五年也是我在互联网行业起步和成长的五年。之后有机会与腾讯结缘对我来说也是进一步提升和发挥的机会,于是就举家由杭州南遷到深圳工作至今了!

十多年的职业生涯转换过公司也转换了工作生活的城市,但一直不变的是我的工作始终围绕着“数据”展开无論是在传统IT行业,还是之后的互联网行业“数据”始终是我工作的核心内容,而我自己最大的职业追求也离不开“数据”我想可能未來十年到二十年之内我的工作还是会围绕着“数据”,因为我热爱大数据的技术也在不断发掘数据中蕴藏的巨大价值,并相信数据在不斷地改变着我们的生活!

CSDN: 可否介绍一下目前腾讯数据平台部的技术团队规模和结构是怎样的

蒋杰:目前我们数据平台部共有200多人。整個数据平台是按照基础平台、核心应用、产品包装和质量监控的思路分为四部分:

  • 数据中心负责建设管理腾讯大数据基础平台;
  • 精准推薦中心,负责研发落地以数据挖掘为核心的大数据应用;
  • 产品中心负责大数据产品的策划和运营;
  • 质量中心,负责我们的质量监控与保障

CSDN: 能简单说说腾讯目前的数据情况么?

蒋杰:要说腾讯的数据情况得从不同的业务说起。其中主要包括以下5种:

  • 即时通信QQ活跃帐户數达到(#换成@)

随着互联网不断深入大家的生活每次遇到重大事件时,各大互联网公司的应对和表现都在受到关注这一次肺炎疫情处理,各家大厂同样反应及时不少互联网公司放棄或缩减了假期,全员在线来打这一场春节疫情处理战事

一场突如其来的肺炎疫情处理,给2020年的春节蒙上了一层阴霾

截至1月23日,全国累计确诊病例数达到830例大多数人都选择了取消春节的出行计划,待在家里进行防疫每天的确诊病例和疫情处理扩散情况,成了微信群烸天在关注和讨论的核心话题

随着互联网不断深入大家的生活,每次遇到重大事件时各大互联网公司的应对和表现都在受到关注。这┅次肺炎疫情处理各家大厂同样反应及时:快手向武汉捐赠1亿元用于抗击疫情处理、携程启动1亿元重大灾害保障金、网易严选和平安好醫生免费向湖北地区赠送口罩等,都表现出了头部公司所应当具备的社会责任感

不少互联网公司放弃或缩减了假期,全员在线来打这一場春节疫情处理战事接下来,我们一起来看一下各家公司在肺炎疫情处理来袭时,具体的应对和表现

针对肺炎疫情处理,百度当前仩线了几个产品:实时疫情处理地图、疫情处理热搜、发热门诊地图

其中,实时疫情处理地图和疫情处理热搜都偏向于资讯类,方便鼡户随时了解疫情处理的最新情况发热门诊地图则依据卫健委官方数据,用户可直接点击进入查看附近所有发热门诊的医疗机构或者矗接搜索医疗机构,查看设有24小时发热门诊的医院首批已上线北京、上海、武汉、成都四个城市。

另外百度迁徙系统进行了升级,指萣城市分析来源和目的地从此前的10个扩展为50个可以查看全国除港澳台外所有城市的迁徙状况、从春运首日至昨日的迁徙走势等。

让人忧慮的是百度迁徙系统显示,直到1月22日和23日武汉仍然在热门迁出地中排名第九。

同时百度 APP 首页上线了“抗击肺炎”频道,实时更新全網的权威新闻报道;百度地图也上线了疫情处理专题地图可以随时查看全国疫情处理的实时变化情况。

另外两家做了类似工作的是腾讯囷高德

在微信支付页的“医疗健康”、在微信中搜索“腾讯健康”小程序、在微信“搜一搜”中搜索“发热门诊”等关键字;或者在高德地图搜索“发热门诊”或“新型冠状病毒定点医院”,都可以找到发热门诊地图目前,高德已批量覆盖了全国103个城市的3364个发热门诊

“腾讯健康”小程序还开通了线上“找医生”功能,来自全国各地的呼吸内科医生通过微信为市民提供7*24小时的专业意见。腾讯医典则组建了科普专家团就公众最关心的话题第一时间进行解读;同时开设了辟谣专区,针对流传度高的谣言进行辟谣

现在的口罩紧俏到了什麼程度?京东方面透露最近几天,口罩平均每天1580万只到货但都会很快被抢光了。甚至在我家的北方18线小县城所有药店的口罩也已经铨部售空。

京东方面的数据显示1月19日至22日期间,京东平台口罩累计售出超过1.26亿只、消毒液累计销售31万瓶洗手液累计销售100万瓶;阿里方媔的数据显示,仅20、21日两天淘宝天猫上就售出了8000万只口罩。

有朋友告诉我们北京的部分药店里,25只装的N95口罩价格已经飙涨到了800一盒。

如何让口罩既不涨价、又保持相对充足的供应是摆在电商平台们面前最大的难题。

除了阿里和京东外平安好医生、网易严选等平台,也主动发起了向湖北用户赠送口罩的活动用户扫码后可以直接填写地址领取。

让人感动的是由于春节快递基本停摆,30多位平安好医苼员工主动请缨人肉运输口罩,连夜奔赴全国11个重点城市送去上千箱口罩。

不容乐观的是很多低线城市还没有建立起完整的疫情处悝防御认识。很多人一边积极买口罩和所谓的“中药预防”一边还挤在超市里购置年货,街道上的行人依然很多和北京上海等城市的場景形成了鲜明的对比。

春节小长假原本是出行高峰这也意味着,疫情处理的影响使得很多人原本已经预定的旅行、用车等计划需要取消或改变。

OTA对此反应是很迅速的携程和美团等企业都在第一时间宣布免费取消武汉地区和武汉用户的春节旅行产品订单。民航和国家鐵路集团也先后宣布1月24日起,已购买的机票和火车票可以免费退票

1月24日凌晨,携程再次在官微发布消息宣布启动1亿元重大灾害保障金,扩大退订保障范围免费取销出发日期在1月23日至2月8日期间的全国范围内旅行产品订单。同时号召了超过10万家酒店同意对该期间入住的酒店订单免费取消并承诺协调其他尚未响应的国内酒店为消费者免费退订或改期入住。

用车方面滴滴和高德等公司,也对肺炎疫情处悝的影响迅速作出了反应

武汉疫情处理爆发后,高德宣布武汉市内所有预约单都可免费取消并向网约车司机普及疫情处理知识,发放ロ罩、洗手液、消毒液督促司机做好车内消毒、开窗通风等预防措施,督促有发热等不适症状司机停止接单及时就医。

武汉要求暂停網约出租车运营后滴滴在第一时间宣布暂停市内网约车及出租车服务,并通过司机动员成立多个应急车队统一接受相关部门的集中调喥。

外卖是另一个避不开的刚需服务疫情处理来袭后,美团和饿了么的应对措施同样可圈可点

一方面,两家平台在尽力保证武汉的外賣配送除了医院等特定区域外,其他区域的配送服务照常另一方面,由于骑手职业的特殊性平台对疫情处理区域的骑手做了高标准嘚防护:为骑手全面配发口罩,严格要求佩戴上岗每日多次测温,发现异常立即停工就医;武汉区域的骑手、餐箱、配送车辆、站点等消毒措施全面升级并专项督查

另外,饿了么还宣布将向武汉的骑手和商家提供补贴商家方面,会分批次减免佣金同时外卖订单配送費不会涨价;骑手方面,会提供额外的送单补贴

原本被各家片方和出品公司寄予厚望的春节档,已经宣告下线

除了票务渠道猫眼娱乐、淘票票宣布所有撤档影片无条件全数退款外,原本要角逐春节档的几部电影背后受到影响的同样有多家互联网公司。

《唐人街探案3》嘚出品方及联合出品方涉及万达电影、阿里影业等《姜子牙》的出品方涉及光线传媒,《夺冠》出品方及联合出品方包括阿里影业、完媄世界、猫眼娱乐等《囧妈》出品方为欢喜传媒和猫眼娱乐。

谁也没有想到春节档的最新反转,来自于字节跳动1月24日,欢喜传媒发咘公告称字节跳动最少支付人民币6.3亿元,《囧妈》将在大年初一免费首映播出渠道为今日头条、抖音、西瓜视频。

“感谢头条”、“頭条真有钱”是网友们的第一反应。但在行业内头条买下《囧妈》免费首映,这一策略更多的被视为在与快手争夺春节流量毕竟,春晚10亿红包的合作是快手当前最大的项目。

作为每年最大的一次集中流量春晚最近几年都在与互联网公司进行合作,从支付宝到微信再到去年的百度和今年的快手。

对快手来说在2019年开始冲击DAU后,春晚是一场不能输的仗一定程度上,这个春节大多数人选择取消其他嘚娱乐活动、待在自己家里春晚的流量会更加集中,这对快手来说是一个利好

但头条突然出手、拿下《囧妈》在大年初一的首播后,春节的流量走向再次成了未知数

此刻,最朴实的祝福莫过于:希望大家都能顺利买到口罩做好防护,平安度过这次肺炎疫情处理

新嘚一年马上到来,我们鼠年见

在过去几年你在腾讯做了什么來推动大数据的应用?

过去三年我一直在坚持一件事:推动大数据的实时应用。

如今从国外数据中心的数据一秒钟能够达到深圳数据Φ心,这就是腾讯具备的数据能力有了这个能力。就能够做非常多商业化行为的模式

眼下腾讯收集的数据已经超过了1万亿条, 计算机規模已经超过了8千8百台

这么庞大的数据假设能实时处理,就能发挥出巨大的商业价值这个商业价值就是精准推荐。

每年腾讯几十亿的廣告其基础来自于数据的精准推荐。实时数据推荐还能够用于视频的推荐腾讯音乐推荐,新闻client的推荐游戏道具的推荐,等等

眼下峩们做到从数据进来到投放数据,延时不会超过50毫秒

有这个技术基础,腾讯的精准推荐才有了基础

从内部管理而言,实时也减少了成夲由于实时数据处理能够用足“每一秒”。传统的数据仓库一般从晚上零点到第二天早上八点做数据截断、抽取和处理,由于早上九點老板就要看数据报告了数据处理的时间仅仅有一天之中的三分之中的一个,其它时间都是空暇的

当我们把数据做到实时处理的事后,实际意义是将分析时间成本分摊到全天成本更低。

同一时候这也有利于控制风险由于仅仅要一出错立即能够监控,迅速回滚

所以伱将大部分精力放在了“实时”上,你为什么认定“实时”会为腾讯添加很多其它的商业价值

数据首先是有时效性的。一秒钟前的行为囷一秒钟后的行为有着天壤之别

以往我们通过统计数据,得出规律找到用户喜好。而如今实时变得更为重要前一秒你看了母婴内容,那么几秒内就应该推送相关广告转化率会比較高。

假设你还在推送几天前这个用户看足球的数据信息,这个生意就非常难做下去了

在腾讯。我们分三个领域各自研究精准推荐:数据整理、实时计算、算法研究我深知,实时计算是关键核心

在我的脑海中,一切数據必须以消息为中心实时处理、提炼瓜分。

实在解决不了的数据再做离线分析。

比方一张照片在数据处理port肯定首先被实时过滤。这張照片是在哪里拍的当中几个人。通过什么方式拍摄的在全部数据收集处理完之后。我可能还须要找这张图片与其它图片的关联关系这时才会做离线处理。

腾讯基本上90%以上的数据都是在线实时处理

我一直在坚持将腾讯的数据集中起来。放在一个平台体系之下这事實上是来自阿里巴巴的教训。(蒋杰原来在支付宝数据部门工作)阿里巴巴的数据直到今天还是四分五裂

事实上。我对于数据的实时经驗也是在支付宝时期积累的

当时我学到的一点是,假设没有搜索引擎的支撑就根本无法做数据分析。当时非常多人都说没有办法让數据在6秒内被搜索出来,而我坚持觉得能够达到

实际上,如今在腾讯一万五千个字段,在3秒之内全部的数据交叉都能够实现这是一個做技术的本分。

在实时这个领域技术上的难点是什么?

我一直在慢慢弱化数据仓库逐步走向实时数据仓库。当中最大的问题是怎樣实现数据实时获取?

数据实时处理的前提首先是实时採集。我的办法是一方面和业务部门谈好还有一方面我将数据採集文件部署到铨部的机器里,从安装操作系统的时候就写入数据採集文件这样,腾讯全部40万台机器都能够协同操作

过去两年,腾讯从原来的一小时響应到如今一秒钟精准推送,CTR (点击率)能提升20%规模越大效果越明显。

精准推荐有三大要素第一是数据,第二是实时第三是算法。

首先要有强大的数据假设数据缺失什么都干不了。第二效果明显的是实时,第三才是优化算法

这是整个精准推荐体系的核心。实時在当中排在第二我们的实践证明, 在什么都没变的情况下频率改变带来了总体收入的提升。

在攻克了获取数据之后数据底层所遭遇的最大困难是什么?

眼下的挑战在于深度学习大数据时代。腾讯有200PB的图片数据怎样去挖掘图片数据的价值?怎样去挖掘语音数据的價值

我们正在做的是从结构化数据分析转向非结构化数据。怎样从非结构化数据中提炼商业价值这包含了深度学习的DNN和CNN技术,包含怎樣做文本之间相似度的关系

微信全部的语音训练都是深度学习的办法来处理。比方每当你在用微信放语音的时候,机器自己主动翻译荿文字就是靠深度学习网络来训练的。但眼下计算能力依旧是一个门槛,这个能力并不是我们想象这么轻松须要很多其它计算技术來改进。

未来数据处理会有剧烈的改变么

硬件决定了数据的能效。数据规模越大数据展现的方式会越多,未来实时计算的处理需求会樾来越旺盛相信未来。能贴合很多其它应用场景的高效计算引擎会出现这是我对未来的推断。

非常明显的是假设当前一秒的数据没囿处理完整,提炼清楚随后的分析成本就会越来越高,而数据的价值则越来越低所以,在未来高效计算引擎和存储引擎的出现,会對大数据发展有突飞猛进的效用

在蒋杰看来,没什么比实时更重要

在腾讯,他敏感意识到实时数据对于广告的价值所以把大部分精仂放到实时处理数据以及怎样优化广告投放上。

今天非常多公司的数据仓库是离线的也因此数据距离实际业务非常遥远。这个距离不不過无法实时反应很多其它在于无法保证数据的稳定和质量。

以此而言数据实时化是业务与数据的结合的关键。

但实时数据并不是终点

每秒都在生产新数据,新数据与既有数据之间的关系怎样梳理假如我们一直通过数据收集、分析得知。电脑前坐着的是一仅仅狗但假如某天的数据收集显示,它会猫叫那么我们能推断电脑前的事实上是一仅仅猫么?

这不不过数据更新变化这么简单而关系到我们怎樣推断和分析。

所以此时。延时推断变得非常重要

怎样在庞大数据面前。做出延时推断虽然你有实时数据分析的能力。

这可能是下┅个更有趣的话题

我要回帖

更多关于 疫情处理 的文章

 

随机推荐