如何通过组合方式来某企业为适应市场需求实际需求并应用到具体场景中

来源：蜘蛛抓取(WebSpider) 时间：2016-06-16 03:28 标签： 对岗位需求的适应过程
如何通过组合方式来适应实际需求并应用到具体场景中？大数据平台建设中，Hadoop体系所包含的生态系统，如：Hbase,Hive,snoop,pig,spark等子系统，如何根据各自的特性，通过组合方式来适应实际需求并应用到具体场景中？可以举例说明
大数据平台建设中，Hadoop体系所包含的生态系统，如：Hbase,Hive,snoop,pig,spark等子系统，如何根据各自的特性，通过组合方式来适应实际需求并应用到具体场景中？可以举例说明
关注问题27回答技术总监
, 上海某互联网服务公司、赞同了此回答hadoop用来做分布式调度，hbase用来存放实时查询的大数据hive用来做数据统计，分析以及过滤sqoop用来将数据导入到关系型数据库中一般都结合hadoop+hbase+hive来使用hadoop用来做分布式调度，hbase用来存放实时查询的大数据hive用来做数据统计，分析以及过滤sqoop用来将数据导入到关系型数据库中一般都结合hadoop+hbase+hive来使用赞同2产品总监
, 星环科技、赞同了此回答hadoop是一个ECOSYSTEM。HBASE是用来做随机查询的实时在线高并发的数据库，一般针对最终用户，比如联通用户查自己的上网记录，可以客户端，包括IOS，ANDROID来查，10010来查，电话投诉客服查询；HIVE是用来出统计报表，更强调顺序读写，离线批处理计算，要求吞吐，但不要求高并发。SQOOP是导入导...hadoop是一个ECOSYSTEM。HBASE是用来做随机查询的实时在线高并发的数据库，一般针对最终用户，比如联通用户查自己的上网记录，可以客户端，包括IOS，ANDROID来查，10010来查，电话投诉客服查询；HIVE是用来出统计报表，更强调顺序读写，离线批处理计算，要求吞吐，但不要求高并发。SQOOP是导入导出工具，传统关系数据库和HADOOP之间的桥梁。SPARK是计算引擎，正在替换MAPREDUCE。Hive over HDFS的性能比Hive over HBase的好，随着数据量的增大和计算的复杂，两者的差距也越来越大。赞同2产品总监
, 星环科技赞同了此回答HBASE高并发查询主要应用& & & & 指定数个字段精确条件的时间段记录查询数据加载& & & & 准实时流式时延要求& & & & 高(秒)应用模型& & & & 基于索引的随机读写QoS& & &nbs...HBASE高并发查询主要应用& & & & 指定数个字段精确条件的时间段记录查询数据加载& & & & 准实时流式时延要求& & & & 高(秒)应用模型& & & & 基于索引的随机读写QoS& & & & 响应优先优先级& & & & 最高中间结果& & & & 小资源偏好& & & & 内存+存储技术实现& & & & 智能索引使用组件& & & & HBase赞同1产品总监
, 星环科技赞同了此回答基于HBASE存储的统计分析(报表)主要应用& & & & 某过滤条件的时间区间记录的简单运算数据加载& & & & HBASE存储时延要求& & & & 高(秒)应用模型& & & & 并行处理QoS& & &nb...基于HBASE存储的统计分析(报表)主要应用& & & & 某过滤条件的时间区间记录的简单运算数据加载& & & & HBASE存储时延要求& & & & 高(秒)应用模型& & & & 并行处理QoS& & & & 响应优先优先级& & & & 高中间结果& & & & 小资源偏好& & & & 存储+CPU技术实现& & & & 内存存储计算使用组件& & & & Spark + HBase赞同1产品总监
, 星环科技、赞同了此回答经营分析/网络分析等离线分析主要应用& & & & 全表数据多次迭代数据关联计算数据加载& & & & 批量导入时延要求& & & & 低(小时)应用模型& & & & 批量数据关联QoS& & &...经营分析/网络分析等离线分析主要应用& & & & 全表数据多次迭代数据关联计算数据加载& & & & 批量导入时延要求& & & & 低(小时)应用模型& & & & 批量数据关联QoS& & & & 吞吐量优先优先级& & & & 中中间结果& & & & 大资源偏好& & & & IO+CPU技术实现& & & & 执行优化+内存计算使用组件& & & & Spark + Hive赞同2软件架构设计师
, 威海市商业银行谢谢大家的回复，学习到很多。谢谢大家的回复，学习到很多。赞同企业级大数据技术与应用践行者、、赞同了此回答我们的最佳实践是利用互联网+大数据的技术架构，构建Lamda架构，如图所示：一、数据采集1. 传统业务系统数据库和数据集市、数据仓库的数据，均可以通过Sqoop等数据桥接的方式接入大数据平台，同时可以将数据库日志、系统日志等非结构化文本数据通过Flume等组件接入大数据平台2. 银...我们的最佳实践是利用互联网+大数据的技术架构，构建Lamda架构，如图所示：一、数据采集1. 传统业务系统数据库和数据集市、数据仓库的数据，均可以通过Sqoop等数据桥接的方式接入大数据平台，同时可以将数据库日志、系统日志等非结构化文本数据通过Flume等组件接入大数据平台2. 银行线上渠道（网站、APP应用、微信公众号等）中的用户行为可以通过数据探头技术，Web端及H5通过JS、移动端通过SDK部码，采集用户行为数据；银行线下渠道（柜面、ATM等）的用户行为数据，需从线下接入的系统数据中解构分析3. 互联网公开数据，如论坛、微博、媒体资讯等，通过数据爬取技术进行数据采集4. 也可以利用各种API接口接入其他合作方、第三方等的在线或离线数据二、数据分发通过FTP或Kafka消息队列将数据实时分发，分发后分开实时数据处理和离线数据存储和处理两条线，形成“人”字型的Lamda架构三、离线数据存储及处理基于Hadoop平台和MpReduce技术的离线数据处理，常用的是HBase列式数据库。四、实时数据处理利用Storm或Spark技术的实时数据处理，例如Storm是事实流式处理，Spark（Spark Streaming）是基于内存的实时批处理。五、数据存储不同的数据类型、不同的业务场景，需要的不同的数据存储服务，在我们的产品中应用了Redis、MongoDB、MySQL、ElasticSearch等多种存储服务。百分点基于此架构为银行提供服务的典型应用场景包括：1. 用户行为采集分析：利用数据探头（JS、SDK，Nginx、ICE）、数据分发（Kafka）、离线数据存储及处理（HBase）、运营分析结果展现（MySQL）2. 跨部门数据整合：利用数据桥接（Sqoop）、日志接入（Flume）、数据分发（FTP）、离线数据存储存储及处理（HBase、ES）3. 离线用户画像和用户洞察（支持营销）：利用离线数据存储存储及处理（HBase、ES）4. 实时用户画像及推荐：利用实时数据处理（Storm、Spark）、数据存储（Redis、MongoDB）5. 实时反欺诈：利用数据接口（API）、数据分发（MQ）、实时数据处理（Storm）赞同3撰写回答软件架构设计师, 威海市商业银行关注11发布37回答14请稍候...君，已阅读到文档的结尾了呢~~
谈动画作品中画面的视觉构成&#..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
谈动画作品中画面的视觉构成(可编辑)
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口

我要回帖

更多关于 对岗位需求的适应过程 的文章

 

随机推荐