淘宝、腾讯、豆瓣、支付宝、大数据剖析与BI实战
淘宝、腾讯、豆瓣、支付宝、大数据剖析与BI实战
2013大数据豆瓣网易淘宝腾讯CSDNSDCC摘要：2013中国软件开发者大会于8月30-31日在北京新云南皇冠假日酒店盛大开幕。作为年度最具实战的技术盛会，大会云集了来自国内外一线 互联网和
　　2013大数据豆瓣网易淘宝腾讯CSDNSDCC摘要：2013中国软件开发者大会于8月30-31日在北京新云南皇冠假日酒店盛大开幕。作为年度最具实战的技术盛会，大会云集了来自国内外一线 互联网和企业级软件公司的顶级专家，就大数据等话题和参会者进行了深入分享与探讨。　　【CSDN报道】2013中国软件开发者大会(以下简称SDCC)于8月30-31日在北京新云南皇冠假日酒店举行。作为CSDN和《程序员》杂志倾力打造、千人规模以上的顶级技术盛会，今年SDCC 2013以&软件定义未来&为主题，来自于国内外一线的技术精英，就大数据剖析与BI、架构实践、研发治理、IT基础设施与运维、产品与设计、开放平台等专题和参会者进行了深入的分享和探讨。此外，32小时编程马拉松、CTO论道论坛等量身定制的特色环节也受到了参会者的强烈关注。　　在第二天开放平台&大数据剖析与BI专题论坛&里，我们约请到了豆瓣网首席科学家兼副总裁王守崑、淘宝广告算法负责人王勇睿、网易杭州研究院技术经理吴一男、腾讯数据中央数据挖掘研究员肖磊以及支付宝平台数据部数据仓库技术专家严奉化(丁奉)。
　　大数据时代兴趣图谱和社交图谱融合　　豆瓣网首席科学家兼副总裁王守崑表示，大数据具有以下的几个特性：(1)大数据应该是超线性增长的。(2)大数据需要有极度复杂的数据结构，或者说是相对复杂的内部结构。(3)低成本。　　大数据时代豆瓣是怎么做兴趣图谱的？王守崑给出了这样的总结：　　逐步把兴趣图谱的信息和社交图谱的信息融合在一起。　　捉住时效性、系数性，通过各式各样的特性来权衡这种推荐效果。　　使用各式各样的模型，通过Boosting去剖析问题。　　社交图谱在语义上也是有极度高的复杂性，整个自然元素的领域对于语义也极度好，由于语义的复杂性更增加了这样的困难水平。另外，数据太大是一个很大的问题，豆瓣把IO Bound转化成CPUBound，相对完美的解决了数据太大所带来的问题。　　王守崑在演讲结尾时说，个性化推荐是亘古未有的好机会，有成熟的技术准备，接触大数据的成本极度低，有极度好的数据源和基础服务。除此之外，移动互联网让用户有更大的兴趣分享私人数据，所以从技术和数据的准备上来说都是极度成熟的。　　淘宝广告算法负责人王勇睿为大师剖析了解决算法问题的细节，从产品的主要的特点来说包括这样几个主要的信息源：　　创意的信息，创意指的是广告或者我们推荐的商品。　　浏览者的信息，就是谁在看这个网页，构成了个人在站内留下的所有行为信息。　　场景的信息，这个场景在淘宝的矩阵里面比较丰硕，目的是给用户推荐适当有序的结构。　　王勇睿讲到，定向的技术包涵差别的定向维度，另有差别的技术。而定向技术中为何接纳多种维度来剖析数据呢？原由不外乎以下几点：1)非搜索场景的意图模糊。2)意图选择路径并不唯一。3)意图稀少的时间需要多种维度的补充。4)疲劳问题等等。
图为定向算法架构　　最后他还说到，由于没有负反馈的产品和数据，所以在未来的设计里要增加负反馈。人为的控制正反馈负反馈的数据比例，这是难度很大的工程。　　网易通用搜索优化之道&&系统实现与数据剖析　　吴一男表示这个产品经过了通用搜索、云服务和数据应用这几个历程。通用搜索系统主要的关注目标是系统的实现功能。云服务关注的点是整个产品在使用和运维过程的应用型式和运维成本。接着就是关注搜索数据，这主要是为了满足真正的产品业务的要求。　　网易内部的互联网产品实际上各个产品有自己的一些独立的需求，或者业务上的一些差别，内部有一个专门的通用搜索这块的东西，能够支持网易的其他的互联网产品。相关的产品像开源Solr Elastic Search。亚马逊和阿里也都有了云搜索，通用搜索淘宝近期也推出了TSearcher搜索技术，和网易的Solr Elastic Search差不多。
　　吴一男最后透露，网易通用搜索在未来的发展方向和目标是：　　完善服务化/云平台建设。　　，基于数据驱动的改良。　　搜索个性化，与用户数据的结合。　　增强移动端搜索应用。　　扩展应用领域，提高用户体验标准。　　腾讯个性化推荐系统设计及实现　　肖磊说，腾讯去年的个性化推荐主要在两个领域，一个是搜索广告的推荐，另外一个是微博上的推荐。另外在电商方面也做了推荐。他还表示，腾讯不管做视频的推荐、广告的推荐还是电商的推荐，本质上都是基于用户做的推荐。　　他说，推荐实际上主要涉及三个元素(称之为3P)：用户、ITEM和场景。这三个元素和用户的反馈数据之间的关系是极度精密的。(用户的反馈数据包括用户的点击数据和曝光数据。)解决的方法(称之为3S)从三方面入手：数据、系统和算法。　　肖磊最后总结说，腾讯个性化推荐系统的设计基于两大焦点平台：腾讯分布式数据仓库(TDW)、实时推荐平台(APOLLO)。这两个平台主要服务于差别的推荐，分类完成推荐任务。　　支付宝风控BI模型的发展之路　　BI模型的发展之路是从2009年T+1的时间开始的，那时针对机器码注册现象，就做了识别。后来模型发展起来的时间，整个防控是以规则为主，模型为辅。到了2011年的时间，严奉华团队在线上做了模型平台。BI模型大规模部署之后，对整个模型平台的运转起到了很大的作用。 未来的目标是模型为主，规则为辅。
　　支付安全和用户体验之间是有冲突的，业务增长和运维增长也是有冲突的。为了解决模型上的坏处，实现业务上的增长，化解冲突的方法就是加入一层可信系统，这样的话用户体验也好了，运维上的困难也解决了。
(责任编辑：admin)
转载请注明链接：
------分隔线----------------------------
网页标题：
以下是网友对的评论:大数据观察专注于大数据方向，分享最具价值的大数据资讯，大数据应用；
同时整合大数据管理技术——云技术及其资讯与应用，提供电子商务、互联网金融，
工商等众多领域的经典案例助力广大用户攻坚大数据难题。
合作邮箱：
备案号：皖ICP备
版权所有，保留一切权利!
weixin-ext支付宝推出余额宝实为买基金 专家提醒小心风险
中广网北京6月16日消息 据经济之声《天下公司》报道，最近对于支付宝的用户来说似乎多了一个赚钱的好机会。细心的支付宝用户发现多了一项功能，叫"余额宝"。据介绍，用户把钱转入"余额宝"后可以获得一定的收益。只是余额宝的收益率是动态的。据了解，目前"余额宝"的7日年化收益率为3.48%，而同期一年期存款年利率为仅为3%。
其实"余额宝"的实质是天弘基金的"增利宝"市场货币基金。天弘基金相关人士对这样的模式津津乐道。
相关人士：这个增利宝项目，天弘基金作为这个项目里面唯一的销售机构，支付宝的角色是作为我们的唯一直销推广平台，就相当于天弘基金我们把我们的直销系统推到了支付宝网站的平台的前端，然后我们是租用它的入口和技术服务，这样引用合作模式。
为什么会选择与支付宝合作，这是否意味着基金公司开始拓展第三方支付的渠道？天弘基金内部人士说，选择支付宝是看重了支付宝的用户规模。
内部人士：我们希望看到未来是一个多元化的发展趋势，既有像传统的银行还有网上的第三方代销机构的代销形式，比如说第三方网站它们的优势在于理财顾问的角色，银行的优势在于存款顾客这部分的优势，像支付宝这样的电子商务平台我们觉得它的优势跟发展基金公司直销这方面，它们各方面的优势不太一样。支付宝平台是咱们国内最大的电子支付平台，它的注册用户是亿级的用户，在这样的大平台下来开展基金直销的话，它的平台会更广阔一些，而且它的平台资质比较好。
天弘基金副总经理周晓明曾表示，"天弘增利宝是为支付宝客户定制的一只货币基金，以支付宝作为唯一直销推广平台。"天弘基金相关人士介绍，目前这款产品还不会向用户收取手续费。
相关人士：因为天弘增利宝的本质是一只货币型基金，只是在其他方面做了创新，所以货币基金的本质是不收取交易费用的，也就是没有前端和后端的，是不收费的，包括现在和以后都没有。
虽然目前"余额宝"不收取手续费，但未来并不排除收费的可能。按照天弘基金官网介绍，"增利宝"的管理费、托管费和销售服务费的年费率共0.63％。既然只在支付宝上销售，又标明了费率，那么目前不收费不代表以后不收费。
风险和收益是并存的，那么钱存入"余额宝"有没有风险呢？支付宝的解释是这样的。
支付宝：因为它本身是一个相当于推出的余额理财的产品，然后我们是专门为了方便客户可以准确很快找到它，就在您页面显示的地方是登录支付宝之后，页面中间有一个可用余额，可用余额就是账户里面的余额，下面就会有一个余额宝，这个没有什么风险的，是随时可以把余额宝转出来的，随时都可以把它输出来。余额宝转入单笔最低金额是1块钱，它需要是正整数，就不能有什么小数点之类的，根据基金行业的经验来说，存入300以上可能有较高概率获得每日的收益，这个就是买一个基金而已，没有什么风险的。
本文来源：中国广播网
关键词阅读
48小时评论排行
评论19617条
评论11793条
评论4668条
评论3019条
评论2837条
跟贴热词：
文明上网，登录发贴
网友评论仅供其表达个人看法，并不表明网易立场。
热门产品:　　　
:　　　　　　　　
:　　　　　　　　　
热门影院：支付宝系统架构概况
典型处理默认
资金处理平台
支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)
Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka，具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用 于大吞吐量、顺序消息、广播和日志数据传输等场景，在淘宝和支付宝有着广泛的应用，现已开源。
Metamorphosis是淘宝开源的一个Java消息中间件。关于消息中间件，你应该听说过JMS规范，以及一些开源实现，如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。
Metamorphosis 的起源是我从对linkedin的开源MQ–现在转移到apache的kafka的学习开始的，这是一个设计很独特的MQ系统，它采用pull机制，而 不是一般MQ的push模型，它大量利用了zookeeper做服务发现和offset存储，它的设计理念我非常欣赏并赞同，强烈建议你阅读一下它的设计 文档，总体上说metamorphosis的设计跟它是完全一致的。但是为什么还需要meta呢？
简单概括下我重新写出meta的原因：
1.Kafka是scala写，我对scala不熟悉，并且kafka整个社区的发展太缓慢了。
2.有一些功能是kakfa没有实现，但是我们却需要：事务、多种offset存储、高可用方案(HA)等
3.Meta相对于kafka特有的一些功能：
-文本协议设计，非常透明，支持类似memcached stats的协议来监控broker
-纯Java实现，从通讯到存储，从client到server都是重新实现。
-提供事务支持，包括本地事务和XA分布式事务
-支持HA复制，包括异步复制和同步复制，保证消息的可靠性
-支持异步发送消息
-消费消息失败，支持本地恢复
-多种offset存储支持，数据库、磁盘、zookeeper，可自定义实现支持group commit，提升数据可靠性和吞吐量。
-支持消息广播模式
-一系列配套项目：python客户端、twitter storm的spout、tail4j等。
因此meta相比于kafka的提升是巨大的。meta在淘宝和支付宝都得到了广泛应用，现在每天支付宝每天经由meta路由的消息达到120亿，淘宝也有每天也有上亿的消息量。
Meta适合的应用：
-日志传输，高吞吐量的日志传输本来就是kafka的强项；
-消息广播功能，如广播缓存配置失效；
-数据的顺序同步功能，如mysql binlog复制；
-分布式环境下（broker,producer,consumer都为集群）的消息路由，对顺序和可靠性有极高要求的场景；
-作为一般MQ来使用的其他功能。
Via:京技院
转载请注明来自36大数据（)： &
除非特别注明，本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性，宽容，换位思考的原则。支付宝被盗是真是假？真相逃不过大数据的“法眼” - 今日头条()
欠债近百万元，竟谎称支付宝账户被盗，试图骗取保险公司的赔款。近日杭州警方破获一起涉嫌互联网保险骗保案，涉案金额高达70万元。专家称，骗保是违法犯罪行为，将会受到法律的惩处。来自山西的80后温某，原本有着令人羡慕的工作，但在欠下巨款后，却动起了歪脑筋。通过网络，温某了解到支付宝有账户安全险，购买这款保险只需要一两元钱，如果支付宝被盗，保险公司可以全额赔款，最高可赔100万元。抱着侥幸心理，温某拨打支付宝客服电话表示自己账号“被盗”，并投保过账户安全险，要求保险公司进行赔偿。温某称“盗贼”在5个月内多次使用自己的支付宝账号购买了900多次游戏点卡，总计金额超过70万元。温某还在当地报了警。接到用户反映后，支付宝将情况反馈到保险公司。保险公司进行复核时发现该案件疑点较多，随即向杭州警方报警。杭州警方随后展开调查。对于温某所说的账户被盗，警方与支付宝取得了联系。支付宝通过人工智能及大数据技术，对温某账户几个月来的交易进行了深入分析。种种证据显示，900多次所谓的“盗刷”行为与温某的日常使用习惯相当符合。其本人操作的可能性极大，被盗可能性极低。通过线下走访，警方发现温某欠下巨款。在调查过程中，温某周围的人还表示温某曾有赌博的习惯。线上证据链固定和线下实地排摸，杭州警方最终确认温某并非支付宝被盗，而是骗保。据警方介绍，7月28日，温某被西湖检察院批准逮捕。法律专家介绍，明明没有被盗却谎称被盗再找保险公司索赔，是一种刑事犯罪行为。根据刑法第198条的规定，保险诈骗罪会视情节严重和金额高低判处有期徒刑和罚金，数额特别巨大或者有其他特别严重情节的，有期徒刑可能在10年以上。
提供大数据技术，分享大数据学习资料及大数据应用案例，讨论大数据话题
关注互联网架构及高可用、可扩展及高性能领域的知识传播
技术社区媒体：最新的技术新闻，最快的技术咨询，最有趣的技术人分享交流平台。
普及数据思维，传播数据文化。
腾讯大讲堂是腾讯专业、高品质的知识分享平台，分享产品技术和成功经验。腾讯大讲堂秉承腾讯大开放战略，致力于对外分享腾讯技术、产品、设计交互、运营等成功经验，与业界同行一起成长。
灯塔大数据自媒体独家发布大数据行业报告、最新译文及撰写文章。
(C) 2016 今日头条 违法和不良信息举报电话：010-公司名称：北京字节跳动科技有限公司