R能处理多大数据适合http的数据

来源：蜘蛛抓取(WebSpider) 时间：2014-10-23 10:14 标签： oracle数据库多大
查看: 2411|回复: 23
R语言企业级数据挖掘应用
论坛徽章:10
本帖最后由 goldendata 于
19:57 编辑
原文作者：刘思哲
三月底参加了中国人民大学统计学院海峡两岸数据挖掘研讨会，和大家简单聊了聊R语言在京东商城的数据挖掘应用。本来想接着写篇博文说明一下，一直也没腾出时间，今天补上。
为什么要使用R语言在互联网企业，在分析端使用闭源的商用软件几乎是不可能的，原因很简单：成本太高，不管是使用，还是研发及维护。但我个人觉得这可能还不是最主要的原因，对于互联网企业来说，数据虽然获取更容易，但环境更为复杂。开源软件可以根据业务的变化进行调整，但商业的闭源软件则很难做到。
R能不能处理大数据好多人问过我这个问题，我会说你有多大内存就能处理多大数据，这话显然不负责任。这个问题确实不太好回答，因为每个人心中的大数据是不一样的。比如有人觉得几百万就是大数据，有些人觉得没个几亿就不算大数据，甚至有人说你处理不了的就是大数据（擦！？）。这些还只是从记录数（数据存储）的角度来看的，我们换个角度想想：建模工程师要做的事情无非是将用户和产品进行合理匹配，那最细粒度就是用户维（或产品维）。试问你有超过千万的用户数据分析建模么？对于一般的分析（工程）师来说，常见的情况还是几十万甚或百万级别。这个量级对于R来说就很容易了，比如我刚刚的工作就是在自己的PC上载入了一个的数据框。
接着我们在说说速度，曾经有太多的人抱怨R的运行速度太慢，甚至堂而皇之的公开表明观点。但我发现大部分人是因为不熟悉R语言的编程，而是直接套用C或Java的编程方式，因而导致无法快速得到结果。举两个例子：
有次在微博上一位朋友抱怨说R做了一个几千乘几千的相关矩阵花了他1天时间，我当时就愕然了，然后默默地给了一个几秒钟搞定的脚本。
还有一次更具有代表性：我的项目组有个R的项目需要上线，于是直接把原始代码交予了一位项目成员，嘱咐他稍作改动即可上线。但他发现需要3个小时才能将线上的数据计算完毕，于是又找到我帮忙优化。我看了一下，果不其然，Java风格的R代码，向量化编程的思想一点都没有用。改之，3分钟结束计算。
R语言的向量化运算几乎可以和底层语言的速度一较高下，并且向量化是天然的并行化方式，如果条件允许，R的向量化编程可以很方便的转化为并行框架，这也就是为什么说R + Hadoop是大数据的发展方向的理由之一。
再说个例子：试问100万行，20万列的数据是大数据么（你没看错，是200000维）？恩，R能够处理，而且可以在这类数据上构建模型。
再看看大数据的流动对于管理者来说，合适的人出现合适的岗位是衡量管理者是否合格的重要标准之一。对于数据分析人员，合适的工具匹配合适的数据则是是否胜任工作的基本素质之一。R并不是通吃所有的数据场景，它只是在出现在该出现的分析建模环节。
R的位置在哪里？先让我们看看所谓的大数据是如何从企业中传递的（摘自本次人大的演讲材料）
从最底层的原始数据来看，PB级数据确实不是R所擅长，但这些数据有Hadoop或者其他高性能存储和处理系统；向上是针对于不同业务场景的数据集市，经过清洗后，数据的规模则下降到了TB级；再向上则是针对于特定任务的分析和挖掘模块，数据已经被整理到了GB级，这时候R的处理则是非常方便R分析的结果则是MB级的输出，比如图表、得分，或者是规则。比如规则很容易在数据集市这段做并行化计算
我的团队在大量使用R作为分析建模工具以外，看似比较另类，其实在Google、Facebook、Linkedin等公司都有大量的直接使用R作为分析挖掘的应用，只是大家不太留意罢了。
一句话总结：R并不是在象牙塔里供科研人员玩耍的玩具，而是实实在在工业界使用的便捷环境。
当然，这里还有很多问题没有展开，比如：
R语言的数据挖掘应该在并行化环境完成还是在单台机器的计算环境完成？抽样可否解决大数据挖掘问题？生产中直接实施R环境是否可行？
我们有时间再聊～
高级会员, 积分 903, 距离下一级还需 97 积分
论坛徽章:2
很详细，受益良多
金牌会员, 积分 1737, 距离下一级还需 1263 积分
论坛徽章:4
有实际业务的例子吗？恳请列出，学习呀
论坛徽章:10
ainivip 发表于
有实际业务的例子吗？恳请列出，学习呀
这个是ppt报告，只列了个大概
高级会员, 积分 522, 距离下一级还需 478 积分
论坛徽章:1
向量化编程，很受益
金牌会员, 积分 1402, 距离下一级还需 1598 积分
论坛徽章:1
高级会员, 积分 553, 距离下一级还需 447 积分
论坛徽章:2
期待展开谈
高级会员, 积分 537, 距离下一级还需 463 积分
论坛徽章:1
可惜上期Hadoop我没有报名。
中级会员, 积分 452, 距离下一级还需 48 积分
论坛徽章:3
金牌会员, 积分 1527, 距离下一级还需 1473 积分
论坛徽章:0
接着聊啊。After Effects 错误：RLA数据大小与图像大小不匹配？这是什么原因？该怎么解决？_百度知道
After Effects 错误：RLA数据大小与图像大小不匹配？这是什么原因？该怎么解决？
我有更好的答案
E导入RPF 最大只能到4000的框幅，太大就导入不了了
其他类似问题
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁ThinkPad R400 硬盘坏了，恢复数据的几率能有多大？_百度知道
ThinkPad R400 硬盘坏了，恢复数据的几率能有多大？
ThinkPad R400 硬盘因为被强磁吸了之后坏了。开机后无法识别到硬盘。拆下该硬盘后在别的电脑上也仍旧无法读取，但是可在管理里的存储界面看到该盘并提示未初始化。该硬盘通电的时候可以听到咔嚓这样的声音。在数据恢复中心，工程师说需要开盘进行维修，因为磁头有损坏。这样的情况下，该硬盘的数据恢复的几率有多大，有什么样的恢复方法？
尊敬的联想用户您好；会有一定的恢复几率的！建议您到联想维修站进行咨询并检修！全国联想维修站查询网址：感谢您对联想的支持，联想竭诚为您服务！
已回答815039
响应时间&19小时
其他类似问题
磁头坏了，你还是算了吧，就算修好了也肯定没有原先的好了。硬盘现在又不贵，还不如买一个新的。当然如果你里面有重要资料的话就没办法了。
按默认排序
其他3条回答
负责的告诉你:碟片的质地非常好,自身损坏的概率不大,在 硬盘磁头 电路板损坏的前提下 可以拆盘
在无尘的环境下 拆下磁碟
在相同硬盘 或者 专业设备里读取 磁碟,恢复率百分百,
但是价格高昂,特别是thinkpad 专业的数据恢复业务,大容量硬盘 完全恢复数据价格上千, 你需要衡量一下 你的数据是否值这份钱
开盘的话就完全看工程师的水平了 水平高的话，恢复个百分之九十几也不是不可能水平差的话，那就等于死刑
这能修复多少就多少了，你要知道，人不是神，哈哈
thinkpad的相关知识
等待您来回答
您可能关注的推广回答者：
下载知道APP
随时随地咨询
出门在外也不愁R中xml格式数据的处理_格式吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：598贴子：
R中xml格式数据的处理收藏
把xml格式的数据导入R后，怎么对文件进行处理，用length显示文件结果为2，可是在第一个里面就是一个我想要处理的文件，很长也不是一行，我想问问谁知道这个文件怎么处理？先谢谢了
登录百度帐号我的游戏推荐游戏
后查看最近玩过的游戏
使用签名档&&
为兴趣而生，贴吧更懂你。或

我要回帖

更多关于 oracle数据库多大 的文章

 

随机推荐