多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
管道管理特性在Kibana中集中了创建和管理Logstash管道配置的功能. > <font color=#DC143C size=4>NOTE</font>:集中式管道管理是不包括在基本许可内的X-Pack的特性.如果你想要使用所有的功能,你可以试用30天.试用结束后,你可以购买我们的订阅来继续使用X-Pack的所有功能.更多信息请参考<https://www.elastic.co/subscriptions> 和 [License Management](https://www.elastic.co/guide/en/elastic-stack-overview/6.5/license-management.html). 你可以在Kibana的管理页面中控制多个Logstash的实例.你可以增加,编辑和删除管道配置.在Logstash端,你只需要简单的配置以开启配置管理以及注册Logstash以使用集中式的管道配置. > <font color=#FF0000 size=4>IMPORTANT</font>:在你配置Logstash使用集中式管道管理之后,你可以不必在指定本地配置.并且`pipelins.yml`文件以及`path.config`和`config.string`的设置也将在开启集中式管道管理之后失效. ### 管理管道 在使用管道管理之前,你必须: + [Configure centralized pipeline management](https://www.elastic.co/guide/en/logstash/current/configuring-centralized-pipelines.html). (配置集中式管道管理) + 如果Kibana使用了基本认证,确保你在[配置Logstash使用基本认证](https://www.elastic.co/guide/en/logstash/current/ls-security.html)的时候你的Kibana用户扮演了`logstash_admin`和`logstash_writer`两个角色.另外,为了在管理界面查看(只读方式)非集中式管道,确保同时扮演了`monitoring_user`角色. > <font color=#FF0000 size=4>额外信息</font>:上面两个链接中的章节,在官方文档目录中并不存在.但根据页面上的前后翻页信息来看,是有完整的一个章节的. 在Kibana中管理Logstash管道: 1. 在你的浏览器中打开Kibana并切换到Management标签.如果你正确配置了配置管理,你会看到一个管理Logstash的区域.![static/management/images/centralized_config.png](https://www.elastic.co/guide/en/logstash/current/static/management/images/centralized_config.png) 2. 点击 **Pipeline**链接. 3. 要添加新的管道,点击**Create pipeline**并制定值. | Pipeline ID | A name that uniquely identifies the pipeline. This is the ID that you used when you [configured centralized pipeline management](https://www.elastic.co/guide/en/logstash/current/configuring-centralized-pipelines.html) and specified a list of pipeline IDs in the `xpack.management.pipeline.id` setting. | | ----------------------- | ------------------------------------------------------------ | | Description | 管道配置的描述.这个信息是你自己用的. | | Pipeline | 管道配置,你可以像对待其他编辑器一样对待这里的编辑器.并且你不必担心空白和所进的问题. | | Pipeline workers | 管道中运行filter以及output阶段并行工作的worker的数量 | | Pipeline batch size | 每个工作线程向filter和output传递事件的时候,每次传送的事件的最大数量 | | Pipeline batch delay | 每个工作线程在获取事件时,在无法达到最大事件数量的时候每个worker等待的时长(以毫秒为单位) (这个配置和上一个是有关系的,即Logstash在处理事件的时候每个worker会收集一定量的事件交由后续处理,如果在在规定时间内依旧无法收集到足够的事件,worker不会在继续等待.这里配置的就是这个等待时间.)| | Queue type | 事件缓冲区的队列模型. | | Queue max bytes | 所有队列的容量 | | Queue checkpoint writes | 启用持久队列时,在强制检查点之前写入的最大事件数。The maximum number of events written before a checkpoint is forced when persistent queues are enabled. | ### 管道行为 + 管道的配置和元数据存储在Elasticsearch中.对管道定义所做的任何更改都会被注册使用的所有Logstash示例自动读取和加载.(类似配置中心的概念).更改会立即生效.如果Logstash注册使用了管道,你不必重新启动Logstash来读取配置. + 管道将在所有注册使用的Logstash上运行.Kibana保存新的配置,Logstash尝试载入.There is no validation done at the UI level. + 你需要在本地Logstash日志中检查配置错误.如果你使用了X-Pack的监控功能,在监控页面查看Logstash实例的状态. + 你可以定义多个管道配置并行运行在同一个Logstash节点上. + 如果你编辑并保存了配置,Logstash会在后台重新加载配置并继续处理事件. + 如果你尝试在Kibana中删除一个正在运行中的管道,Logstash将会尝试停止这个管道.Logstash会等待事件处理完毕.在你删除一个管道之前,确保你理解你的数据源.停止管道可能会导致数据丢失.