> ##### [感谢TTA0168](https://zhidao.baidu.com/question/1174224044228167419.html "参考站点")
> ##### [感谢Mr. Hu](http://www.cnblogs.com/huhangfei/p/6904994.html "感谢Mr. Hu")
> ##### [感谢irow10](http://irow10.blog.51cto.com/ "感谢irow10")
> ##### [感谢石瞳禅](http://www.cnblogs.com/stozen/p/5638369.html "感谢石瞳禅")，grok各个规则中文注释
> ##### [感谢飞走不可](http://www.cnblogs.com/hanyifeng/p/5871150.html "感谢飞走不可")，Kibana修改字段单位
写在前面：有时候我们需要分析请求的URL或请求的字符串（？后面的部分），这部分我是在Tomcat中分析，因为Tomcat有专门的query？string字段，不需要单独拆解Nginx日志，所以在Nginx中，我只保留了http请求的版本
对于json过滤，grok过滤等不同的过滤方法，我是这样认为的，grok是万能的，但是如果原始数据能够json化，那优先使用json
### Logstash配置（直接处理转发ES）
```yaml
input {
redis {
host => "192.168.0.106"
port => "6400"
db => 0
key => "filebeat"
password => "ding"
data_type => "list"
}
}
filter {
if [type] == "proxy-nginx-accesslog" {
json {
source => "message"
remove_field => [ "message" ]
}
mutate {
split => { "request" => " " }
}
mutate {
add_field => {
"httpversion" => "%{[request][2]}"
}
}
geoip {
source => "xff"
database => "/etc/logstash/GeoLite2-City.mmdb"
fields => ["city_name", "continent_code", "country_code2", "country_code3", "country_name", "dma_code", "ip", "latitude", "longitude", "postal_code", "region_name", "timezone", "location"]
remove_field => [ "[geoip][latitude]", "[geoip][longitude]" ]
target => "geoip"
}
}
if [type] == "nginx-accesslog" {
json {
source => "message"
remove_field => [ "message" ]
}
mutate {
split => { "request" => " " }
}
mutate {
add_field => {
"httpversion" => "%{[request][2]}"
}
}
mutate {
split => { "xff" => "," }
}
mutate {
add_field => {
"realip" => "%{[xff][0]}"
}
}
geoip {
source => "realip"
database => "/etc/logstash/GeoLite2-City.mmdb"
fields => ["city_name", "continent_code", "country_code2", "country_code3", "country_name", "dma_code", "ip", "latitude", "longitude", "postal_code", "region_name", "timezone", "location"]
remove_field => [ "[geoip][latitude]", "[geoip][longitude]" ]
target => "geoip"
}
}
if [type] == "tomcat-accesslog" {
json {
source => "message"
remove_field => [ "message" ]
}
mutate {
split => { "method" => " " }
}
mutate {
add_field => {
"request_method" => "%{[method][0]}"
"request_url" => "%{[method][1]}"
"httpversion" => "%{[method][2]}"
}
}
mutate {
remove_field => [ "method" ]
}
}
mutate {
convert => [ "status", "integer" ]
convert => [ "body_bytes_sent", "integer" ]
convert => [ "request_time", "float" ]
convert => [ "send bytes", "integer" ]
}
}
output {
if [type] == "proxy-nginx-accesslog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "logstash-proxy-nginx-accesslog-%{+YYYY.MM.dd}"
}
}
if [type] == "proxy-nginx-errorlog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "logstash-proxy-nginx-errorlog-%{+YYYY.MM.dd}"
}
}
if [type] == "nginx-accesslog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "logstash-nginx-accesslog-%{+YYYY.MM.dd}"
}
}
if [type] == "nginx-errorlog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "logstash-nginx-errorlog-%{+YYYY.MM.dd}"
}
}
if [type] == "systemlog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "systemlog-%{+YYYY.MM.dd}"
}
}
if [type] == "tomcat-catalina" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "tomcat-cataline-%{+YYYY.MM.dd}"
}
}
if [type] == "tomcat-ding-info" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "tomcat-ding-info-%{+YYYY.MM.dd}"
}
}
if [type] == "tomcat-dinge-error" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "tomcat-ding-error-%{+YYYY.MM.dd}"
}
}
if [type] == "tomcat-accesslog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "tomcat-accesslog-%{+YYYY.MM.dd}"
}
}
}
```
因为拆分了字段，原始字段就可以删除，这里要注意需要单独写删除代码跨，这里涉及优先级的问题，具体问题可以自己尝试。
如果Nginx上层有代理的话，xff字段中会是多个IP，我选择拆分字段，后保留第一个IP，但保留原始字段。
### Logstash配置（消费Redis数据）
```yaml
input {
redis {
host => "192.168.0.106"
port => "6400"
db => 0
key => "filebeat"
password => "ding"
data_type => "list"
}
}
```
其他配置同上，写入配置请看《日志收集配置》章节
Logstash会根据filebeat中数据的type进行分析，不需要改动
### Logstash配置（分析IIS日志）
```yaml
input {
beats {
port => 5045
}
}
filter {
if [type] == "iislog" {
grok {
match => {"message" => "%{TIMESTAMP_ISO8601:log_timestamp} (%{NOTSPACE:s_sitename}|-) (%{NOTSPACE:s_computername}|-) (%{IPORHOST:s_ip}|-) (%{WORD:cs_method}|-) %{NOTSPACE:cs_uri_stem} %{NOTSPACE:cs_uri_query} (%{NUMBER:s_port}|-) (%{NOTSPACE:cs_username}|-) (%{IPORHOST:c_ip}|-) (?:HTTP/%{NUMBER:http_version}) %{NOTSPACE:cs_useragent} (%{GREEDYDATA:cs_cookie}| -) (%{NOTSPACE:cs_referer}|-) %{NOTSPACE:cs_host} (%{NUMBER:sc_status}|-) (%{NUMBER:sc_substatus}|-) (%{NUMBER:sc_win32_status}|-) (%{NUMBER:sc_bytes}|-) (%{NUMBER:cs_bytes}|-) (%{NUMBER:time_taken}|-)"}
add_tag => "iis"
remove_field => ["message", "@version"]
}
date {
match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
timezone => "Etc/GMT"
}
useragent {
source => "cs_useragent"
target => "ua"
remove_field => ["cs_useragent"]
}
geoip {
source => "c_ip"
database => "/etc/logstash/GeoLite2-City.mmdb"
fields => ["city_name", "continent_code", "country_code2", "country_code3", "country_name", "dma_code", "ip", "latitude", "longitude", "postal_code", "region_name", "timezone", "location"]
remove_field => [ "[geoip][latitude]", "[geoip][longitude]" ]
target => "geoip"
}
mutate {
convert => [ "sc_bytes", "integer" ]
convert => [ "cs_bytes", "integer" ]
convert => [ "time_taken", "float" ]
convert => [ "sc_status", "integer" ]
convert => [ "s_port", "integer" ]
}
}
}
output {
if [type] == "iislog" {
elasticsearch {
hosts => ["192.168.0.231:9200", "192.168.0.232:9200"]
index => "logstash-iislog-%{+YYYY.MM.dd}"
}
}
}
```
#### 经验1：减少配置内容，更加易读
gork中的匹配规则一旦固定下下，最终放到指定目录中，配置中直接调用
```shell
/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.2/patterns/iis
```
实际内容
```shell
IIS_LOG %{TIMESTAMP_ISO8601:log_timestamp} ...略... (%{NUMBER:time_taken}|-)
```
Logstash中调用
```shell
match => { "message" => "%{IIS_LOG}" }
```
#### 经验2：日志过滤
IIS日志中的前4行是"#"开头，减少Logstash的工作，在Filebeat中配置
#### 经验3：grok的调试
```shell
调试站点：http://grokdebug.herokuapp.com
```
##### grok排错思路：
- ##### 注意匹配时，字段间的空格
- ##### 要考虑字段默认值
- ##### 了解内置正则含义，请参考文档开始的链接
- ##### 注意一定要尝试多样本，生产数据
```shell
比如cookie，最终，(%{NOTSPACE:cookie}|-)生产不适用，(%{GREEDYDATA:cookie}|-)生产适用
```
#### 经验4：其他
logstash有时候关的慢，因为在处理数据，等待一会就好了
没用的字段去掉，但要注意先后顺序，拆分后再删除
时间的处理需要使用Logstash的plugins-filters-date插件
#### 经验5：IIS日志时区问题
>IIS日志时间为什么晚八小时的原因?
这要从W3C标准说起，W3C是按照GMT时间进行记录的，IIS默认的日志格式就是W3C标准日志文件。北京时间是东八时区，也就是GMT+8，IIS在记录时间时就会在系统时间基础上加上8小时，所以，你那服务器的日志文件记录的时间久延后了八个小时，但实际上仍然是实时记录的。解决这个问题的方法是，依次打开Internet信息服务（IIS）---Internet信息服务----本地计算机---网站，右击子项中相应的网站（如果要设置所有的网站，则直接在网站上点击），选择属性，在网站标签下找到活动日志格式，打开IIS日志属性，再选择常规，最后勾选文件命名和创建使用当地时间
设置当前时间为timezone => "Etc/GMT"，kibana会自动根据当前时区转换时间。
> #### [常用时区](http://php.net/manual/zh/timezones.others.php "常用时区")
#### 经验6：注意字段的转换
后期使用Kibana出图时，如果想使用范围、计算，有些字段需要转换成integer
可过滤时转换，也可以结尾同意转换
如果是计算网络流量，还需要在kibana中设置字段单位，具体可参照开头部分的站点。
#### 经验7：批量删除索引
```shell
curl -XDELETE 'http://192.168.0.230:9200/abcddd'
```
[https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html](https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html)
#### 经验8：Logstash和Filebeat重启顺序
建议先停止Filebeat，再重启Logstash
- 献给乐于奉献的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 数据库工作总结
- 二、运维专题（非技术）
- 2.1 公有云运维
- 2.1.1 阿里云采坑记.md
- 三、运维专题（技术类）
- 3.1 Linux（操作系统）
- 3.1.1 常见工作总结
- 3.1.2 常见服务使用和部署
- 3.1.3 操作系统优化
- 3.1.4 常用命令（Centos8）
- 3.2 Docker & K8s（容器技术）
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基础
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile编写
- 1-5 容器网络
- 1-6 数据持久化
- 2. docker-compose
- 2-1 基础
- 3.2.2 kubernetes
- 1. 导读-请先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二进制部署集群
- 4. 日常工作及故障处理
- 4-1 常用命令
- 4-2 故障处理
- 3.2.3 依赖服务部署
- 1. Harbor（镜像仓库）
- 1-1 harbor-2.1.0（单节点）
- 3.3 CICD（持续集成/部署）
- 3.3.1 GitLab
- 1. 服务部署
- 1-1 Gitlab-CE-13.3.4（单节点）
- 2. Git基础
- 3.3.2 Ansible
- 1. 服务部署
- 1-2 ansible-2.5（pip部署）
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循环语法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins项目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA（负载均衡，反向代理）
- 3.4.1 LVS+Keepalive
- 1. LVS为MySQL读提供负载均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(转)
- 3.5 Runtime（代码运行环境）
- 3.5.1 Tomcat（Web中间件）
- 1. Tomcat部署手册
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用脚本
- 3.6 NoSQL（非关系型数据库）
- 3.6.1 redis（非关系数据库）
- 1. Redis 基础
- 2. Redis 4.0变化
- 3. Codis实现Redis的集群
- 4. Redis故障处理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑战
- 3.6.2 MongoDB（文档数据库）
- 1. Mongodb基础
- 1-1 Mongodb4.0新特性
- 1-2 支持多大数据量
- 2. Mongodb安装
- 2-1 Mac OS安装Mongodb
- 2-2 Yum安装Mongodb
- 2-3 二进制安装Mongodb
- 2-4 docker容器安装Mongodb
- 2-5 Mongodb 配置文件详解
- 2-6 Mongodb 生产安全清单
- 2-7 用户身份认证和授权
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用户身份认证与授权
- 4. 日常维护工作
- 4-1 Mongodb磁盘回收
- 4-2 Mongodb备份恢复到任意时间点
- 4-3 Mongodb慢查询分析
- 4-4 Mongodb版本升级
- 4-5 Mongodb副本集成员状态
- 4-6 Mongodb备份恢复工具使用
- 4-7 Mongodb服务启动和停止
- 4-8 修改副本集成员oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ（消息队列）
- 3.7.1 Zookeeper（分布式协调系统）
- 1. ZooKeeper基础
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ（消息队列）
- 1. 服务部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor（数据收集，监控）
- 3.8.1 Zabbix（运维监控）
- 1. 服务部署
- 1-1 服务端部署
- 1-2 客户端部署
- 2. 监控服务
- 2-1 监控Apache
- 2-2 监控IIS
- 2-3 监控Ningx
- 2-4 监控Tomcat(6/7/8)
- 2-5 监控WebSphere 7
- 2-6 监控MySQL
- 2-7 监控Oracle
- 2-8 监控SQL Servre
- 2-9 监控Weblogic
- 2-10 监控Windows
- 2-11 自定义监控项
- 3. 告警推送
- 3-1 邮件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 数据库优化（TokuDB）
- 4-2 数据库优化（分区表）
- 4-3 前端定制（Grafana）
- 5. 与Grafana结合
- 3.8.2 ELKBstack（日志收集展示）
- 1. 服务部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介绍
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高级配置
- 1. Elasticsearch实战
- 2. Logstash实战
- 3. Filebeat实战
- 5. 引入队列
- 3.9 Virtualization（虚拟化）
- 3.10 Basic（基础服务）
- 3.10.1 Piwik-Matomo（用户行为分析）
- 1. Piwik前期分析
- 2. Piwik介绍和部署
- 2-1 Piwik-3.x版本（早期）
- 3. Piwik 功能配置
- 4. Piwik 模拟数据和压测
- 5. Piwik运转原理
- 6. Piwik数据库模式（一）
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler（系统自动部署）
- 1. Cobbler 可以干什么？
- 2. Cobbler 基础原理
- 3. Cobbler 安装
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基础配置
- 5. Cobbler 配置文件
- 6. 一键优化脚本
- 3.10.3 Rsync（数据同步服务）
- 1. Rsync基础
- 2. 案例：页面部署（服务端拉取）
- 3.10.4 NFS（共享存储）
- 1. NFS部署手册
- 2. 客户端NFS备份脚本
- 3.10.5 Grafana(可视化）
- 1. 安装(8.2.x)
- 3.11 Tools（软件工具）
- 3.11.1 基准测试
- 1. 基准测试方法论
- 2. 压测工具 - Siege
- 3. 压测工具 - http_load
- 3.12 DB（关系型数据库）
- 3.12.1 MySQL（关系数据库）
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL复制
- 2-1 MySQL异步复制
- 3. MySQL备份恢复
- 3-1 xtrabackup 备份恢复
- 4. MySQL 高可用
- 4-1 MHA（HA）
- 4-1-1 MHA 架构介绍和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自动Failover
- 4-1-4 MHA常用参数
- 4-1-5 MHA 报错
- 4-1-6 MHA相关配置文件和脚本
- 4-2 MyCAT
- 4-2-1 MyCAT 介绍和部署
- 4-1-3 MyCAT读写分离案例解析
- 5. MySQL 常用脚本
- 5-1 MySQL常用统计语句
- 5-2 MySQL性能分析脚本
- 6. MySQL 日常及故障处理
- 6-1 MySQL死锁排查
- 6-2 复制故障
- 6-3 MySQL 升级注意事项
- 6-3 MySQL授权
- 3.12.2 Oracle（关系数据库）
- 1. Oracle部署
- 1-1 Oracle11g单实例部署
- 1-2 Oracle12c单实例部署
- 2. Oracle常用脚本
- 3. Oracle 知识点
- 六、Ansible开源项目
- 6.1 项目初始化手册
- 6.1.1 Ansible错误处理
- 6.1.2 一种预先判断是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 变量和tags信息
- 3. Redis主从部署
- 4. Redis集群部署
- 5. 清理数据
- 6.10 Software软件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、学习资源推荐
- 八、从瞎搞到放弃
- 8.1 CodeQL(语义代码分析引擎）
- 8.1.1 背景及计划
- 8.1.2 CodeQL概述
- 8.1.3 简单部署和使用
- 8.1.4 后续
- 8.2 dbdeployer(轻松部署MySQL)
- 归档笔记
- 三、常用服务部署（迁移中）
- 3.4 Nginx & PHP（Web服务）
- 3.4.1 Nginx（Web）
- 1. Nginx基础和部署
- 2. Nginx 我的一些思考
- 3. Nginx（Web）配置
- 4. Nginx（Proxy）配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模块
- 二、运维项目实战（迁移中）
- 2.1 标准化 & 工具化项目
- 2.1.1 系统部署和优化
- 2.1.5 全网日志收集展示平台项目
- 1. 项目需求
- 2. 整体方案规划
- 3. 日志收集配置
- 4. 消息缓冲队列
- 5. 日志处理转发
- 6. 日志数据展示（待补充）
- 7. ELK安全配置（上）
- 8. ELK安全配置（下）
- 9. 项目总结
- 2.2 高性能Web项目
- 2.2.1 网站需求（完善中）