rsyslog日志统一收集系统 · linux运维

# rsyslog统一日志收集系统 [TOC] ## 一 rsyslog相关基础 ### A rsyslog 日志服务器的优势: Rsyslog的全称是`rocket-fast system for log`，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其结果输出的到不同的目的地。 rsyslog可以提供超过每秒一百万条消息给目标文件。 **特点：** * 多线程 * 可以通过许多协议进行传输UDP，TCP，SSL，TLS，RELP； * 直接将日志写入到数据库; * 支持加密协议：ssl，tls，relp * 强大的过滤器，实现过滤日志信息中任何部分的内容 * 自定义输出格式； ### B rsyslog配置文件模块 rsyslog有完善的input-filter-output模块,但是由于现在有更强大的elk日志套件, rsyslog在我手中的用途只是用来统一收集某类日志(如sshd登录日志)到指定服务器,后续的再将该日志导入elk系统因此这里不再详述rsyslog的这些模块,有兴趣的网上找相关文档 ### C rsyslog配置文件规则 rsyslog.conf中日志规则的典型格式如下: ~~~ facitlity.priority action #日志类型.日志级别存储位置/动作 #日志类型和日志级别都可以用*(星号)表示所有 ~~~ 1. `facility`: 日志类型 | 日志类型 | 类型说明 | | --- | --- | | auth | pam 认证日志 | | authpriv | ssh,ftp 等登录信息的验证信息，认证授权认证 | | cron | 定时任务相关日志 | | kern | 内核日志 | | lpr | 打印及日志 | | mail | 邮件日志 | | mark/syslog | rsyslog 服务内部的信息日志 | | news | 新闻组日志 | | user | 用户程序产生的相关日志 | | uucp | unix 主机之间相关的通讯日志 | | local | 1~7 #自定义的日志设备 | 2. `priority`: 日志级别: | 日志级别 | 级别说明 | | --- | --- | | debug | 调式信息的，日志信息最多 | | info | 一般信息的日志，最常用 | | notice | 最具有重要性的普通条件的信息 | | warning | 警告级别 | | error | 错误级别 | | crit | 比较严重级别 | | alert | 很严重警报级别 | | emerg | 内核崩溃等严重信息 | 3. `action`：日志动作 ~~~ 1）记录到普通文件或设备文件 *.* /var/log/file.log #绝对路径 *.* /dev/pts/0 #设备文件 2）将日志通过管道送给其他命令处理 *.error |awk .... 3）将日志发送到特定的主机 *.emerg @192.168.10.1 4）”用户”，表示将日志发送到特定的用户 *.error root #发送给root用户 *.error * #发送所有登录到系统的用户 ~~~ 4. 连接符号 ~~~ . #表示大于等于xxx级别的信息； .= #表示等于xxx级别的信息； .! #表示在xxx之外的等级的信息； ~~~ 5. 格式定义案例定义在/etc/rsyslog.conf配置文件中 ~~~ # 表示将mail相关的,info级别及以上级别都记录到mail.log文件中 mail.info /var/log/mail.log # 表示将auth相关的基本为info信息记录到远程主机 auth.=info @10.0.0.1 使用UDP协议发送到远端主机,默认514端口 auth.=info @@10.0.0.1 使用TCP协议发送到远端主机,默认10514端口 # 表示记录与user和error相反的 user.!error # 表示记录所有日志信息的info级别及以上级别 *.info # 所有日志及所有级别信息都记录下来 *.* # 丢弃日志[~] cron.* ~ ~~~ > PS：多个日志来源可以使用,号隔开,如cron.info;mail.info。 ## 二搭建rsyslog统一收集sshd登录日志 ### A 客户端配置 ~~~ yum install -y rsyslog # 清除配置文件中注释,最后一行添加服务端类型 cat >/etc/rsyslog.conf <<EOF # 默认配置 $ModLoad imuxsock # provides support for local system logging $ModLoad imjournal # provides access to the systemd journal $WorkDirectory /var/lib/rsyslog $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat $IncludeConfig /etc/rsyslog.d/*.conf $OmitLocalLogging on $IMJournalStateFile imjournal.state *.info;mail.none;authpriv.none;cron.none /var/log/messages authpriv.* /var/log/secure mail.* -/var/log/maillog cron.* /var/log/cron *.emerg :omusrmsg:* uucp,news.crit /var/log/spooler local7.* #增加配置 authpriv.* @172.17.19.29:514 EOF ~~~ ### B 搭建服务端 ~~~ yum install -y rsyslog # 清除配置文件中注释,在中间加入接收端配置 cat >/etc/rsyslog.conf <<EOF # 默认配置第一部分 $ModLoad imuxsock # provides support for local system logging $ModLoad imjournal # provides access to the systemd journal $WorkDirectory /var/lib/rsyslog $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat #--------------新增配置-开始-------------- #开启udp接收日志 $ModLoad imudp $UDPServerRun 514 $AllowedSender UDP, 172.17.0.0/16 #定义日志格式模板(方便后续logstash读取) $template myformat,"%TIMESTAMP::10:date-rfc3339% %TIMESTAMP:8:15% %hostname% %fromhost-ip% %syslogtag% %msg%\n" #定义日志存放路径及文件格式 $template sshRemote,"/data/fw_logs/ssh_%$YEAR%-%$MONTH%-%$DAY%.log" #调用日志模板和文件格式,并过滤部分信息 :fromhost-ip, !isequal, "127.0.0.1" ?sshRemote;myformat #定义生成的日志文件和文件夹(也是方便logstash读取) $FileCreateMode 0644 $DirCreateMode 0755 $Umask 0022 #--------------新增配置-结束-------------- #默认配置第二部分 $IncludeConfig /etc/rsyslog.d/*.conf $OmitLocalLogging on $IMJournalStateFile imjournal.state *.info;mail.none;authpriv.none;cron.none /var/log/messages authpriv.* /var/log/secure mail.* -/var/log/maillog cron.* /var/log/cron *.emerg :omusrmsg:* uucp,news.crit /var/log/spooler local7.* EOF ~~~ 重启服务并验证 ~~~ systemctl restart rsyslog #重启服务后,客户机多次ssh登录验证服务端有没有产生日志 #也可以用logger命令模拟产生日志 logger "rsyslog test from 172.17.19.31" -p authpriv.info ~~~ ## 三 rsyslog日志模板: [参考网址:](https://segmentfault.com/a/1190000003509909) 日志模板中各变量对于的数据样式如下 ```sh msg: Hello, Logger, rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger, HOSTNAME: vm-28-234-pro01-hp, FROMHOST: vm-28-234-pro01-hp, syslogtag: LogHeader[13845]:, programname: LogHeader, PRI: 175, PRI-text: local5.debug, IUT: 1, syslogfacility: 21, syslogfacility-text: local5, syslogseverity: 7, syslogseverity-text: debug, timereported: Mar 10 15:52:49, TIMESTAMP: Mar 10 15:52:49, timegenerated: Mar 10 15:52:49, PROTOCOL-VERSION: 0, STRUCTURED-DATA: -, APP-NAME: LogHeader, PROCID: 13845, MSGID: - ```