本次示例所用数据是来自搜狗实驗室的用户查询日志搜索引擎查询日志库设计为包括约1个月(2008年6月)Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。為进行中文搜索引擎用户行为分析的研究者提供基准研究语料 spark累加器介绍-案例通过累加器统计文章中空白行数量 欢迎加入本站公开兴趣群 ,C/C++Python,PHPRuby,shell等各种语言开发经验交流各种框架使用,外包项目机会学习、培训、跳槽等交流 兴趣范围包括:Hadoop源代码解读,改进优囮, 场景定制与Hadoop有关的各种开源项目,总之就是玩转Hadoop |
00-[了解]-课程内容介绍
13-[总结]-总结和作業
03-[掌握]-RDD的操作分类和基本操作演示
12-[掌握]-共享变量-广播变量和累加器
13-[掌握]-外部数据源-多种数据格式
06-[了解]-搜狗搜索日志分析-需求和分词测试
07-[了解]-搜狗搜索日志分析-代码实现
08-[了解]-流式计算应用场景
09-[了解]-流式计算实现模式
06-[了解]-Spark综合案例-流程分析和业务模块划分
07-[了解]-Spark综合案例-环境搭建囷数据发送
08-[掌握]-Spark综合案例-实时数据分析-代码实现-1-数据加载和转换
09-[掌握]-Spark综合案例-实时数据分析-代码实现-2-业务需求代码实现
10-[理解]-Spark综合案例-实时嶊荐易错题-需求分析和模型准备
11-[掌握]-Spark综合案例-实时推荐易错题-代码实现-1-加载数据和模型
12-[掌握]-Spark综合案例-实时推荐易错题-代码实现-2-给用户推荐並存储推荐结果
01-[理解]-Spark综合案例-学生答题情况离线分析-需求分析
02-[理解]-Spark综合案例-学生答题情况离线分析-代码实现-1
03-[理解]-Spark综合案例-学生答题情况离線分析-代码实现-2
04-[补充]-推荐系统概述
05-[补充]-推荐算法分类
06-[补充]-推荐算法-ALS-数学基础补充
07-[补充]-推荐算法-ALS-案例需求和算法思想
08-[补充]-推荐算法-ALS-电影推荐案例-代码实现
09-[补充]-推荐算法-ALS-在易错题推荐案例中的模型实现