Maxwell是一个守护程序一个应用程序，能够读取mysql最多能存多少数据 Binlogs然后解析输出为json支持数据输出到Kafka中，支持表和库过滤
|
|
去Apache官网下载Flume二进制安装包，然后解压即可
创建配置文件和环境变量
如果上面的JAVA_HOME设置好了，这里其实不需要设置flume-env.sh也可以选择配置。
Maxwell存储在mysql最多能存多少数据服务器本身所需要的所有状态在schema_database选项指定的数据库中。默认情况下, 数据库被命名为maxwell
然后可以看到Maxwell的输出信息：
5）数据输出到HDFS
提供一份Flume配置文件（从Kafka收集日志到HDFS）
可能是因为你的Flume是独立部署，需要依赖Hadoop HDFS的jar包解决方法也很简单，就是在Flume主机上解压好Hadoop的二进制安装包然后输出Hadoop环境变量即可，Flume会根据环境变量自动找到相关的依赖jar包具体可以看：
这个提示很明显，就是没有写入权限（因为你当前运行flume-ng的用户不是Hadoop用户）解决方案也很简單，就是切换到Hadoop用户执行flume-ng命令即可或者开启HDFS允许所有用户进行文件写入，默认可能你没有开启具体可以看：
相关组件现在都已经跑通叻，接下来就是测试了我们在mysql最多能存多少数据插入一条数据：
会自动创建相关目录，并生成一个文件
整个mysql最多能存多少数据->Maxwell->Flume->HDFS流程算昰跑通了，但是此时也仅限于玩一玩而已包括Flume和Kakfa都得深入学习一下。另外我们可以看到写入HDFS的数据时json的，可能还需要提取只需要的数據另外，对于update或delete操作目前还不知道要怎么处理生产使用难度很大。
