相关文章

系统日志收集之初探rsyslog

 |   

系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息,这些信息对用户了解系统的运行状态是非常有用的,所以需要把它们保存到对应的日志文件中,以便后续进行分析和监控系统或软件的状态。 Linux 系统拥有非常灵活和强大的日志功能,几乎可以保存所有的操作记录,并可以从中检索出我们需要的信息。完成这个工作的守护进程就是 rsyslog。

介绍

谈及 rsyslog,就不可避免的涉及另外两个软件 syslogsyslog-ng。这三款软件设计的目标是一样的,就是解决系统和程序的日志收集问题。每一个项目都在试图提高前者的稳定性和功能性。

syslog

syslog 由 Eric Allman 在 1980 年代开发,是 Sendmail 项目的一部分。因为它的易用性被很多类 Unix 系统使用,成为其标准的日志记录解决方案。在这个过程中,它演变成一种协议,成为在互联网协议(TCP/IP)的网络中传递记录档消息的标准。

syslog 协议属于一种主从式协议:syslog 发送端会发送出一个小的文字消息(小于 1024 位组)到 syslog 接收端。接收端通常名为 syslogd、syslog daemon 或 syslog 服务器。系统日志消息可以被以 UDP 协议或 TCP 协议来发送。这些资料是以明码类型被发送。不过由于 SSL 加密外套(例如 Stunnel、sslio 或 sslwrap 等)并非 syslog 协议本身的一部分,因此可以被用来透过SSL/TLS 方式提供一层加密。

syslog-ng

syslog-ng 是 syslog NextGeneration 的简写。该项目发起于 1998 年并基于 syslog 协议开发。作为 syslog 的下一代产品,功能肯定比 syslog 强大的多,如高性能,可靠的传输,支持多平台,高可靠性,众多的用户群体,强大的日志过滤及排序,事件标签和关联性,支持最新的IETF标准等。

rsyslog

rsyslog 是 the rocket-fast system for log processing 的简写。该项目始于 2004 年,当时 rsyslog 的主要作者 Rainer Gerhards 决定编写一个新的强大 syslog 守护程序来与 syslog-ng 竞争。它实现了基本的 syslog 协议,并扩展了基于内容的过滤功能,丰富了过滤能力,处理脱机输出的队列操作,支持不同模块的输出,配置选项更加灵活,并添加了使用 TCP 进行传输的功能。

由于 rsyslog 的高性能,出色的安全性和模块化设计,它不仅作为常规的系统日志收集工具,还能够接受各种来源的输入,将其转换,然后将结果输出到不同的目的地。

多输入多输出

它的优势有如下:

  • 高性能(使用 C 编写,运用多线程)
  • 支持 TCP, SSL, TLS, RELP
  • 支持多种输出(MySQL, PostgreSQL等)
  • 支持对系统日志的过滤
  • 灵活配置多种输出

正因为如此,它是众多类 Unix 系统和 GNU/Linux 发行版系统日志采集的首选。

syslog 协议

既然三款软件都基于 syslog 协议,那就先来介绍一下 syslog 协议。相关 RFC 文件有 2001 年发行的 RFC 3164(The BSD syslog Protocol), 2009 年发行的 RFC 5424(The Syslog Protocol), RFC 5425(Transport Layer Security Mapping for Syslog), RFC 5426(Transmission of Syslog Messages over UDP)。其中RFC 3164 已经被 RFC 5424 废除,所以下面介绍的以 RFC 5424 为准。

三层模型

Syslog 协议使用三层结构,第一层是消息层,指要传输的信息;第二层是应用层,主要用于消息的生成,解析,路由和存储,代表有发送者,中继器和接受者。第三层是传输层,主要用于发送和接收网络上的信息,代表有发送设备和接收设备。 具体的层次结构见下图(这块的理解可以参考 OSI 7层模型或 TCP/IP 4层模型):

syslog_layer

部署场景

syslog 协议遵循以下的原则:

  • 协议没有信息确认机制 消息从发送者发送到接受者的 UDP 514 端口,不需要接收方应答。
  • 发送者和中继器可以将相同的消息发送给多个接收者和中继器
  • 发送者,中继器和接收者可以部署在同一个系统上。

按照上述原则,有如下图的部署场景。

syslog_deploy

消息格式

syslog 协议定义了消息格式,由三部分组成:消息头 HEADER ,结构化数据 STRUCTURED-DATA 和消息 MSG(可选)。其中消息头又包含优先级(PRIority),版本号(VERSION),时间戳(TIMESTAMP),主机名(HOSTNAME), 应用名(APP-NAME),进程标识(PROCID)和消息标识(MSGID)。

其中优先级由设备(Facility)和严重性(Severity)共同决定。PRI = Facility * 8 + Severity。 设备的可选值有以下24个:

代号设备(Facility)注释
0kernel messages内核相关
1user-level messages用户相关(默认)
2mail system邮件相关
3system daemons系统守护进程相关
4security/authorization messages (note 1)登陆授权相关
5messages generated internally by syslogdsyslogd相关
6line printer subsystem打印相关
7network news subsystem新闻相关
8UUCP subsystemunix到unix的cp相关
9clock daemon (note 2)任务计划相关
10security/authorization messages (note 1)登陆授权相关
11FTP daemonFTP相关
12NTP subsystem
13log audit (note 1)登陆授权相关
14log alert (note 1)登陆授权相关
15clock daemon (note 2)任务计划相关
16local use 0 (local0)用户自定义0
17local use 1 (local1)用户自定义1
18local use 2 (local2)用户自定义2
19local use 3 (local3)用户自定义3
20local use 4 (local4)用户自定义4
21local use 5 (local5)用户自定义5
22local use 6 (local6)用户自定义6
23local use 7 (local7)用户自定义7

严重性的可选值有以下8个,这也是Facility * 8的原因:

代号严重性(Severity)注释
0Emergency: system is unusable崩溃级别
1Alert: action must be taken immediately报警级别
2Critical: critical conditions危急级别
3Error: error conditions错误级别
4Warning: warning conditions警告级别
5Notice: normal but significant condition提示级别
6Informational: informational messages消息级别
7Debug: debug-level messages调试级别

其它注意点

  • 协议的实现必须支持基于 TLS 的传输,应该支持基于 UDP 的传输
  • 所有接收设备必须能够结构长度不超过480个八位字节的消息,应该接收长度最大为2048个八位字节的消息,可以接收超过2048个八位字节的消息(可以截断或丢弃)。

rsyslog 使用

鉴于 rsyslog 已经是众多类 Unix 系统和 GNU/Linux 发行版系统日志采集的首选,所以这里重点介绍一下 rsyslog 使用。

配置文件

一般 rsyslog 的配置文件在 /etc/rsyslog.conf, 其由 3 个部分组成:模块(MODULES),全局设置(GLOBAL DRICTIVES)和规则(RULE)。这里以 Centos 中 rsyslog 配置为例。

 1# rsyslog configuration file
 2
 3# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
 4# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html
 5
 6#### 模块MODULES ####
 7
 8# The imjournal module bellow is now used as a message source instead of imuxsock.
 9$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
10$ModLoad imjournal # provides access to the systemd journal
11#$ModLoad imklog # reads kernel messages (the same are read from journald)
12#$ModLoad immark  # provides --MARK-- message capability
13
14# Provides UDP syslog reception
15#$ModLoad imudp
16#$UDPServerRun 514
17
18# Provides TCP syslog reception
19#$ModLoad imtcp
20#$InputTCPServerRun 514
21
22
23#### 全局设置GLOBAL DIRECTIVES ####
24
25# Where to place auxiliary files
26$WorkDirectory /var/lib/rsyslog
27
28# Use default timestamp format
29$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
30
31# File syncing capability is disabled by default. This feature is usually not required,
32# not useful and an extreme performance hit
33#$ActionFileEnableSync on
34
35# Include all config files in /etc/rsyslog.d/
36$IncludeConfig /etc/rsyslog.d/*.conf
37
38# Turn off message reception via local log socket;
39# local messages are retrieved through imjournal now.
40$OmitLocalLogging on
41
42# File to store the position in the journal
43$IMJournalStateFile imjournal.state
44
45
46#### 规则RULES ####
47
48# Log all kernel messages to the console.
49# Logging much else clutters up the screen.
50#kern.*                                                 /dev/console
51
52# Log anything (except mail) of level info or higher.
53# Don't log private authentication messages!
54*.info;mail.none;authpriv.none;cron.none                /var/log/messages
55
56# The authpriv file has restricted access.
57authpriv.*                                              /var/log/secure
58
59# Log all the mail messages in one place.
60mail.*                                                  -/var/log/maillog
61
62
63# Log cron stuff
64cron.*                                                  /var/log/cron
65
66# Everybody gets emergency messages
67*.emerg                                                 :omusrmsg:*
68
69# Save news errors of level crit and higher in a special file.
70uucp,news.crit                                          /var/log/spooler
71
72# Save boot messages also to boot.log
73local7.*                                                /var/log/boot.log
74
75
76# ### begin forwarding rule ###
77# The statement between the begin ... end define a SINGLE forwarding
78# rule. They belong together, do NOT split them. If you create multiple
79# forwarding rules, duplicate the whole block!
80# Remote Logging (we use TCP for reliable delivery)
81#
82# An on-disk queue is created for this action. If the remote host is
83# down, messages are spooled to disk and sent when it is up again.
84#$ActionQueueFileName fwdRule1 # unique name prefix for spool files
85#$ActionQueueMaxDiskSpace 1g   # 1gb space limit (use as much as possible)
86#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
87#$ActionQueueType LinkedList   # run asynchronously
88#$ActionResumeRetryCount -1    # infinite retries if host is down
89# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
90#*.* @@remote-host:514
91# ### end of the forwarding rule ###

每次修改配置文件后可以通过以下操作来判断配置文件是否合理并重启 rsyslogd 服务。

1# 验证配置文件 /etc/syslog.conf 是否合理
2rsyslogd -f /etc/rsyslog.conf -N1
3# 重启 rsyslog 服务
4systemctl restart rsyslog

基本验证

一般系统都会提供 logger 命令行,可以使用其向系统输入日志。

1# -i 记录进程id
2# -t 标识记录的tag
3# -p 指定消息的设备信息和日志等级,默认user.info
4logger -i -t 'hjy_test' -p facility.level 'message'

实战

网上有一篇 博文是介绍将 rsyslog 的日志输出到 mysql 中,当然强大的 rsyslog 不仅支持输出到 mysql 中,基本覆盖了所有的主流存储软件。 不过这里介绍的实战是利用 rsyslog 的用户自定义设备来实现推荐系统的用户行为收集。大体的思路是推荐请求或数据上报请求通过 nginx 将请求转发到多台 online 服务中的一个。 该服务处理完请求后会将推荐的数据或打点上报的数据通过 SyslogHandler 汇总到目标服务器上进行推荐系统用户行为的统一处理。具体架构见下图:

syslog_recsys

优势如下:

  • 速度快,稳定性高,性能好(支持百万QPS, 压测到十万级别)
  • rsyslogd 一般服务器自带,不需要安装,只需简单配置
  • 客户端实现简单,比如 Python 中 logger 就有 SyslogHandler 来向 rsyslogd 发送日志。

参考文献

  1. rsyslog官网
  2. rsyslog源码
  3. 维基百科syslog
  4. 维基百科rsyslog
  5. 维基百科syslog-ng
  6. 三种syslog比较
  7. rfc3164
  8. rfc5424
  9. rfc5425
  10. rfc5426
  11. rsyslog配置
  12. 记录rsyslog日志到mysql
  13. rsyslog 的 TCP 转发性能测试
技术茶话会
< 前一篇 后一篇 >