1、启动虚拟机（2台或者3台）
2、启动zookeeper集群 sh /home/software/zookeeper-3.4.7/bin/zkServer.sh start
3、启动伪分布式hadoop
完全分布式
4、启动kafka集群
5、创建kafka指定的主题
6、编写并启动flume
flume weblog.conf编写
7、启动tomcat（埋点服务器和日志服务器）
8、编写SparkStreaming与Kafka的整合代码，从kafka消费数据
①启动scala-eclipse ②创建scalaProject ③导入spark依赖jar包 添加如下两个目录下的内容为依赖包 
④导入kafka依赖jar包 
⑤导入spark与kafka整合包 
⑥创建scala Object类Driver 
9、启动SparkStreaming，访问埋点服务器，测试sparkStreaming是否能够从kafka接收到数据
访问localhost:8080/FluxAppServer/a.jsp出现 
（Ⅰ）写数据
1、导入Hbase依赖包
2、编写spark与Hbase整合代码
3、启动多台虚拟机
4、启动zookeeper集群
5、启动伪分布式Hadoop
6、启动hbase集群
7、进入Hbase客户端，建表
8、启动spark，执行测试
（Ⅱ）读数据：
1、ReadDriver
2、ScanDriver
1、新建logBean与TongjiBean
2、新建HbaseUtil
3、修改Driver
4、项目与Mysql整合步骤
1、引入mysql和c3p0相关的jar包以及cp30的配置文件 将下面目录下的两个内容其放于工程目录下，并将mysql-lib中的jar build path 
2、进入mysql，创建weblog库
3、切到weblog，创建tongji2表
4、编写代码，将实时流处理的指标插入或更新到tongji2表中
sh /home/software/zookeeper-3.4.8/bin/zkServer. sh start
完全分布式
进入01服务器的 hbase的 bin目录，执行︰sh start-hbase.sh
进入kafka的bin目录，执行∶ sh kafka-server-start.sh …/config/server. properties
进入f1ume 的配置文件目录，执行︰ …/bin/flume-ng agent -n al -c ./ -f ./web1og.conf-Df1ume.root.1ogger=INFO, console
2021-09-01 11:01:08,307 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k2 has been removed due to an error during configuration org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker at org.apache.flume.sink.kafka.KafkaSinkUtil.adddocumentedKafkaProps(KafkaSinkUtil.java:55) 原因：配置文件写错，a1.sinks.k1.brokerList写成了a1.sinks.brokeList
[2021-09-01 16:07:56,949] WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn:1102) java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 原因 设定zookeeper集群地址与通信端口出错，不能直接复制WriteDrive 应为
而非
本文地址：http://nhjcxspj.xhstdz.com/quote/1455.html 物流园资讯网 http://nhjcxspj.xhstdz.com/ , 查看更多