# 1. 日志采集Flume测试 ## 1. 启动Zookeeper、Kafka集群 ## 2. 启动node1的日志采集Flume ``` bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf -Dflume.root.logger=info,console ``` ## 3. 启动一个Kafka的Console-Consumer ``` bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic topic_log ``` ## 4. 生成模拟数据 ``` /home/atguigu/bin/lg.sh ``` ## 5. 观察Kafka消费者是否能消费到数据 # 2. 日志采集Flume启停脚本 ## 1. 分发日志采集Flume配置文件和拦截器 若上述测试通过，需将node1节点的Flume的配置文件和拦截器jar包，向另一台日志服务器发送一份。 ``` cd /opt/module/flume/ scp -r job node2:/opt/module/flume/ scp lib/flume-interceptor-1.0-SNAPSHOT-jar-with-dependencies.jar node2:/opt/module/flume/lib/ ``` ## 2. 方便起见，此处编写一个日志采集Flume进程的启停脚本 在node1节点的/home/atguigu/bin目录下创建脚本f1.sh ``` vim f1.sh ``` 在脚本中填写如下内容 ``` #!/bin/bash case $1 in "start"){ for i in node1 node2 do echo " --------启动 $i 采集flume-------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/job/file_to_kafka.conf >/dev/null 2>&1 &" done };; "stop"){ for i in node1 node2 do echo " --------停止 $i 采集flume-------" ssh $i "ps -ef | grep file_to_kafka | grep -v grep |awk '{print \$2}' | xargs -n1 kill -9 " done };; esac ``` ## 3. 增加脚本执行权限 ``` chmod 777 f1.sh ``` ## 4. f1启动 ``` /home/atguigu/bin/f1.sh start ``` ## 5. f1停止 ``` /home/atguigu/bin/f1.sh stop ```