ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
之前提到过Flume的Agent由三部分组成:Source、Channel、Sink。下面是使用Flume的过程。 (1)创建一个`.conf`文件,编写Agent、Source、Channel、Sink的配置信息。 `netcat_source.conf` ```xml ############## 1. Agent初始化 ############ # agent为Agent的名字,可以随便命名 # s1、c1、sk1是在该agent下的Source、Channel、Sink,也可以随便命名 agent.sources = s1 agent.channels = c1 agent.sinks = sk1 ############## 2. Source配置 ############# # 设置Source的类型、ip、端口 agent.sources.s1.type = netcat agent.sources.s1.bind = hadoop101 # 我机器的主机名为hadoop101,你也可以使用localhost代替 agent.sources.s1.port = 5678 # 将s1发送到c1通道上 agent.sources.s1.channels = c1 ############## 3. Sink配置 ############# # 设置Sink类型为logger模式 agent.sinks.sk1.type = logger # Sink从c1通道获取数据 agent.sinks.sk1.channel = c1 ############ 4. Channel配置 ############ # 设置Channel为内存模式,容量1000,传输参数100 agent.channels.c1.type = memory agent.channels.c1.capacity = 1000 agent.channels.c1.transactionCapacity = 100 ``` (2)启动Agent服务 ```shell -- 切换到flume的根目录下执行下面的语句。当然如果你已经配置了环境变量则就不需要了 bin/flume-ng agent -c conf -f myconf/netcat_source.conf --name agent -Dflume.root.logger=INFO,console ``` (3)发送测试数据 开启后输入 hello flume、hello world。 ```shell [root@hadoop101 /]# telnet hadoop101 5678 Trying 192.168.64.138... Connected to hadoop101. Escape character is '^]'. hello flume OK hello world OK ``` 如果没有安装`telnet`命令,可以如下安装。 ```shell -- 查看telnet命令有哪些 [root@hadoop101 /]# yum list telnet* telnet.x86_64 1:0.17-66.el7 updates telnet-server.x86_64 1:0.17-66.el7 -- 只需安装telnet.x86_64即可 [root@hadoop101 /]# yum install telnet.x86_64 ``` (4)然后你就可以在开启Agent服务的窗口中看到发送过来的数据了。 ![](https://img.kancloud.cn/de/fa/defaeda632be37497ac1e70b6cc4543d_1059x116.png) <br/> 以上就是Flume的使用过程。