Spark视频王家林第32课：kafka原理内幕和集群构建与测试实战_土豆_高清视频在线观看基于FlumeKafkaSpark 的分布式日志流处理系统的设计与实现_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
基于FlumeKafkaSpark 的分布式日志流处理系统的设计与实现
上传于||文档简介
&&日​志​采​集​系​统
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩4页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢3597人阅读
Spark（53）
作者：周志湖
微信号：zhouzhihubeyond
本节为下一节Kafka与Spark Streaming做铺垫
1.kafka 集群搭建
1. kafka 集群搭建
kafka 安装与配置
到下面的地址下载：Scala 2.10
- kafka_2.10-0.8.2.1.tgz
下载完成后，使用命令
kafka_2.10-0.8.2.1.tgz
解压，解压后的目录如下
进入config目录，将server.properties文件内容如下：
broker.id=0
host.name=sparkmaster
//中间省略，默认配置即可
zookeeper.connect=sparkmaster:2181,sparkslave01:2181,sparkslave02:2181
zookeeper.connection.timeout.ms=6000
将整个安装文件进行跨机器拷贝：
root@sparkmaster:/hadoopLearning
root@sparkmaster:/hadoopLearning
将sparkslave01机器上的server.properties文件内容如下：
broker.id=1
host.name=sparkslave01
//中间省略，默认配置即可
zookeeper.connect=sparkmaster:2181,sparkslave01:2181,sparkslave02:2181
zookeeper.connection.timeout.ms=6000
将sparkslave02机器上的server.properties文件内容如下：
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
############################# Socket Server Settings #############################
# The port the socket server listens on
# Hostname the broker will bind to. If not set, the server will bind to all interfaces
host.name=sparkslave02
//中间省略，默认配置即可
############################# Zookeeper #############################
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:.0.1:.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=sparkmaster:2181,sparkslave01:2181,sparkslave02:2181
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000
启动Kafka集群
root@sparkslave02:/hadoopLearning/kafka_2.10-0.8.2.1
root@sparkslave01:/hadoopLearning/kafka_2.10-0.8.2.1
root@sparkmaster:/hadoopLearning/kafka_2.10-0.8.2.1
3 创建topic
在sparkmaster机器上执行下列命令创建一个topic
root@sparkmaster:/hadoopLearning/kafka_2.10-0.8.2.1
Created topic "kafkatopictest".
4 发送消息至kafka
在sparkslave01机器上执行下列命令并向kafka发送消息
root@sparkslave01:/hadoopLearning/kafka_2.10-0.8.2.1
Hello Kafka, I will test Spark Streaming on you next lesson
5 接收kafka发送来的消息
在sparkslave02机器上执行下列命令并接收kafka发送消息
root@sparkslave02:/hadoopLearning/kafka_2.10-0.8.2.1
Hello Kafka, I will test Spark Streaming on you next lesson
至此Kafka 集群搭建与测试完毕
下一节当中，我们将演示kafka如何与Spark Streaimg结合起来使用
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：633173次
积分：7606
积分：7606
排名：第2022名
原创：101篇
评论：254条
阅读：33041
阅读：14916
文章：45篇
阅读：229435
文章：31篇
阅读：303895
(1)(3)(5)(1)(7)(8)(17)(16)(27)(18)博客访问： 927365
博文数量： 184
注册时间：
认证徽章：
不争就是慈悲，不辩就是智慧，不闻就是清净，不看就是自在，不贪就是布施，断恶就是行善，改过就是忏悔，谦卑就是礼佛，守礼就是持戒，原谅就是解脱，知足就是放下，利人就是利己。
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： 大数据
首先了解几个kafka中的概念:
kafka是一个消息队列服务器,服务称为broker, 消息发送者称为producer, 消息接收者称为通常我们部署多个broker以提供高可用性的消息服务集群.典型的是3个消息以topic的形式发送到broker,消费者订阅topic,实现按需取用的消费模式;创建topic需要指定replication-factor(复制数目, 通常=broker数目);每个topic可能有多个分区(partition), 每个分区的消息内容不会重复:
假定我们有一个名称为test的topic, 分区数目为2, 当我们发送到这个test具体的消息"msg1:hello beijing"和"msg2:hello shanghai"的时候,我们如何知道消息的发送路径呢(发往哪个分区)?
msg1如果被发送到分区test.1,则肯定不会发送到test.2. 数据发送路径选择决策受kafka.producer.Partitioner的影响:
interface Partitioner {
& & int partition(java.lang.Object key, int numPartitions);
一个伪代码的实现如下:
package org.mymibao.mq.
import kafka.producer.P
public class DefaultKafkaPartitioner implements Partitioner {
& & private final static int FIRST_PARTITION_ID = 1;
& & public int partition(Object key, int numPartitions) {
& & & & return FIRST_PARTITION_ID;
kafka安装配置参考:
1)下载KAFKA
$ wget /apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz
2)配置$KAFKA_HOME/config/server.properties
我们安装3个broker，分别在3个vm上：zk1，zk2，zk3:
$ vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=zk1
$ vi $KAFKA_HOME/config/server.properties&
broker.id=0
host.name=zk1
advertised.host.name=zk1
num.partitions=2
zookeeper.contact=zk1:2181,zk2:2181,zk3:2181
$ vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=zk2
broker.id=1
host.name=zk2
advertised.host.name=zk2
num.partitions=2
zookeeper.contact=zk1:2181,zk2:2181,zk3:2181
$ vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=zk3
broker.id=2
host.name=zk3
advertised.host.name=zk3
num.partitions=2
zookeeper.contact=zk1:2181,zk2:2181,zk3:2181
3)启动zookeeper服务, 在zk1,zk2,zk3上分别运行：&
$ zkServer.sh start
4)启动kafka服务, 在zk1,zk2,zk3上分别运行：
$ kafka-server-start.sh &../config/server.properties
5) 新建一个TOPIC(replication-factor=num of brokers)
$ kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper zk1:2181
6)假设我们在zk2上，开一个终端，发送消息至kafka（zk2模拟producer）
$ kafka-console-producer.sh --broker-list zk1:9092 --sync --topic test
在发送消息的终端输入：Hello Kafka
7)假设我们在zk3上，开一个终端，显示消息的消费（zk3模拟consumer）
$ kafka-console-consumer.sh --zookeeper zk1:2181 --topic test --from-beginning
原文：http://blog.csdn.net/ubuntu64fan/article/details/2668
阅读(5968) | 评论(0) | 转发(0) |
相关热门文章
给主人留下些什么吧！~~
请登录后评论。大数据Spark企业级项目实战(实战sparksql和kafka流数据应用)_spark吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：1,735贴子：
大数据Spark企业级项目实战(实战sparksql和kafka流数据应用)收藏
新入手的课程，分享给大家下载。60多课！链接:
密码:treq00.00_课件文档代码01.01_spark介绍01.02_spark软件栈01.03_动手搭建一个最简单的spark集群01.04_运行例子程序SparkPi02.01_Spark部署模式OverView102.02_Spark部署模式OverView202.03_Spark启动过程详解02.04_Spark集群部署之Standalone02.05_Spark集群部署之Spark on Yarn02.06_Spark集群部署之Spark on Mesos03.01_spark集群硬件配置03.02_spark开发的语言选择03.03_Java版本的选择04.01_RDD介绍及创建04.02_RDD的操作_函数传递_闭包_shuffle介绍04.03_RDD的持久化
spark学习 90天入门到精通 零基础到实战课程应有尽有 免费教程点击咨询获取
楼主好人，不过视频应该怎么看...
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或