ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
* Flume用于将多种来源的日志以流的方式传输至Hadoop或者其它目的地。 * 一种可靠、可用的高效分布式数据收集服务。 * Flume拥有基于数据流上的简单灵活架构,支持容错、故障转移与恢复。 * 由Cloudera 2009年捐赠给Apache,现为Apache顶级项目。 :-: ![](https://img.kancloud.cn/8c/e8/8ce83c82f6393451937535094f1e2738_170x170.png) Flume特点: * 可靠性:Flume的核心是<ins>把数据从数据源收集过来,再送到目的地。</ins>为了保证输送一定成功,<ins>在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。</ins> Flume 使用<ins>事务性的方式保证传送 Event 整个过程的可靠性。</ins> * 可恢复性:Events<ins>在通道中执行,由该通道管理从失败中恢复</ins>。Flume支持由本地文件系统支持的持久文件通道。还有一个内存通道,它只是简单地将事件存储在内存队列中,速度更快,但是当代理进程死亡时,仍然留在内存通道中的任何事件都无法恢复。