1. 项目概述为什么你需要吃透rsyslog配置如果你负责过线上服务器的运维或者开发过需要处理海量日志的应用那你大概率跟rsyslog打过交道。它几乎是Linux世界日志收集的“事实标准”从系统内核消息到Nginx访问日志再到你自己应用的业务日志最终都可能汇聚到rsyslog这个管道里。但说实话很多人对它的配置都停留在“能用就行”的阶段从网上抄一段*.info /var/log/messages就完事了。一旦遇到日志分类、远程转发、性能瓶颈或者格式解析的问题面对那一堆$开头的指令和复杂的配置块往往就抓瞎了。我自己在管理一个日均TB级日志量的集群时就曾因为一个配置不当的队列参数导致日志大量堆积差点错过一次关键的业务告警。从那以后我花了大力气把rsyslog特别是v7和v8这两个主流且兼容性强的版本从里到外啃了一遍。这篇文章就是把我这些年踩过的坑、总结出的最佳实践结合官方文档的精髓给你掰开揉碎了讲清楚。我们的目标很明确告别“复制粘贴”让你真正理解每一行配置背后的逻辑打造一个既稳定又高效的日志处理中枢。无论是刚接触的运维新手还是想优化现有架构的老手这篇详解都能给你直接的帮助。2. 核心概念与配置结构解析在动手写配置之前我们必须先建立几个核心的认知模型。rsyslog的配置不是一堆随意堆砌的命令它遵循一个清晰的“管道”处理流程输入(Input) - 处理(Parse, Filter) - 输出(Output)。v7/v8版本强化了这个模块化设计让每个环节都可以通过加载插件om、im、mm开头来扩展功能。2.1 配置文件的核心骨架一个典型的rsyslog配置文件通常是/etc/rsyslog.conf或/etc/rsyslog.d/*.conf遵循以下结构理解这个结构是读懂一切配置的前提# 1. 全局指令 (Global Directives) # 设置rsyslog守护进程本身的参数如工作目录、队列大小、加载的模块等。 $WorkDirectory /var/spool/rsyslog $ActionQueueSize 100000 module(loadimuxsock) # 加载模块 # 2. 模块加载 (Modules) # 显式加载需要的输入、输出、解析器等模块。这是v7/v8的推荐写法。 module(loadimfile PollingInterval10) # 加载文本文件输入模块 module(loadomelasticsearch) # 加载ES输出模块 # 3. 规则集 (Rulesets) # 规则集是规则选择器动作的容器。可以定义多个实现日志流的分流处理。 ruleset(nameinfra_logs) { # 规则在这里定义 } ruleset(nameapp_logs) { # 另一个规则集 } # 4. 规则选择器 动作 (Rules: Selector Action) # 这是最传统的配置形式也是配置的核心。 # 选择器部分 [设施.优先级] # 动作部分 [处理方式] mail.info /var/log/mail.log # 含义将mail设施下优先级为info及以上含info, notice, warn, err...的日志写入指定文件。 # 5. 模板 (Templates) # 定义日志的输出格式。对于文件、数据库、远程转发都至关重要。 template(nameMyFormat typestring string%TIMESTAMP% %HOSTNAME% %syslogtag%%msg%\n) # 6. 输入 (Inputs) # 定义日志的来源。传统配置隐含了系统syslog socket作为输入现代配置需要显式声明。 input(typeimfile file/var/log/nginx/access.log tagnginx-access rulesetapp_logs)一个关键转变在老的语法$ModLoad中模块和规则是混在一起的。在新的高级语法module()和action()中结构更清晰。我强烈建议即使在维护旧系统也尽量向新语法迁移因为它的可读性和可维护性要好得多。2.2 设施(Facility)与优先级(Priority/Severity)选择器的灵魂这是过滤日志最基础、最重要的依据必须记牢。设施 (Facility) 代表日志消息的来源或子系统。常用的有auth,authpriv: 安全和认证相关消息。cron: 定时任务。daemon: 系统守护进程。kern: 内核消息。mail: 邮件系统。syslog: rsyslog自身产生的消息。user: 用户级程序默认值。local0~local7: 留作自定义使用这是你分配给自己应用的关键编号。比如约定local0给Nginxlocal1给MySQL。优先级 (Priority) 代表日志的严重等级从低到高依次是debug: 调试信息最详细。info: 一般性信息。notice: 正常但值得注意的事件。warning或warn: 警告信息。err或error: 错误条件。crit: 严重条件。alert: 需要立即行动。emerg或panic: 系统不可用。选择器写法mail.info: 匹配mail设施info及以上等级。*.info: 匹配所有设施info及以上等级。cron.info: 仅匹配cron设施的info等级精确匹配。cron.!info: 匹配cron设施除info外的所有等级。cron.*: 匹配cron设施的所有等级。cron.none: 不记录cron设施的任何日志。常用于排除某些日志。实操心得 给自己公司的应用分配local0-local7时一定要形成文档并团队共享。曾经有团队因为两个服务误用了同一个local设施导致日志混在一起难以区分排查问题时浪费了大量时间。一个简单的内部Wiki页面就能避免这个问题。3. 常用核心模块与指令详解rsyslog的强大很大程度上来自于其丰富的模块。下面我们深入几个最常用、也最容易出问题的模块。3.1 输入模块日志从哪里来除了默认的系统日志我们经常需要收集文本文件、甚至监听TCP/UDP端口。1. imfile收集文本文件日志如Nginx, Tomcat日志这是最常用的输入模块之一。配置不当会导致日志丢失或重复。module(loadimfile PollingInterval10) # 加载模块并设置轮询间隔为10秒 input(typeimfile File/var/log/nginx/access.log # 要监控的文件路径 Tagnginx-access: # 给日志打上标签强烈建议末尾加冒号格式更规范 Severityinfo # 设置默认的日志级别 Facilitylocal0 # 设置默认的设施这里我们自定义为local0 PersistStateInterval100 # 持久化文件状态记录读取位置的间隔行数。防止重启后重复读取或丢失。 rulesetnginxRules # 绑定到指定的规则集进行处理 )PollingInterval: 轮询间隔。文件变化不频繁可以设大点如30频繁则设小点如1。太小会增加CPU负担。PersistStateInterval:这是关键参数它指定rsyslog在读取多少行后将当前文件偏移量即读到哪了记录到磁盘状态文件通常在$WorkDirectory下。如果rsyslog崩溃或重启它会从这个位置恢复避免重复或丢失。对于日志量大的文件建议设置为100-1000。设得太小影响性能太大则重启后可能重复读取较多行。2. imtcp / imudp接收远程syslog用于构建集中式日志服务器。module(loadimtcp MaxSessions500) # 加载TCP输入模块设置最大连接数 input(typeimtcp port514 rulesetremote) # 在514端口监听TCP连接 module(loadimudp) # 加载UDP输入模块 input(typeimudp port514) # 在514端口监听UDP数据包TCP vs UDP:生产环境强烈推荐TCP。TCP是可靠的能确保日志不丢失在网络抖动、接收方繁忙时会有重传和排队。UDP性能好但不可靠日志可能静默丢失。对于安全审计等场景必须用TCP。MaxSessions: 限制并发连接数防止恶意连接耗尽资源。3.2 输出模块日志到哪里去1. omfile写入本地文件最基础的输出但也有很多学问。# 使用模板定义文件写入格式 template(nameFileFormat typestring string/data/logs/%HOSTNAME%/%PROGRAMNAME%.log) # 动作将消息写入动态命名的文件 action(typeomfile dynaFileFileFormat dirCreateMode0755 fileCreateMode0644)动态文件名: 使用dynaFile配合模板可以按主机名、程序名、日期等自动创建目录和文件管理起来非常清晰。例如上面的配置会生成如/data/logs/web-server01/nginx.log的路径。文件权限:dirCreateMode和fileCreateMode可以确保创建的目录和文件拥有安全的权限。2. omfwd转发到远程syslog服务器这是实现日志集中化的发送端配置。action(typeomfwd Targetlog-central.example.com Port10514 Protocoltcp # 使用tcp Queue.Size100000 # 内存队列大小 Queue.DiscardMark97500 # 队列达到此值时开始丢弃 Queue.DiscardSeverity8 # 丢弃优先级8即info及以下的日志 Queue.SaveOnShutdownon # 关闭时保存队列到磁盘 Queue.WorkerThreads4 # 工作线程数 action.resumeRetryCount-1 # 无限重试 )队列Queue: 这是omfwd以及许多其他输出最核心的稳定性保障机制。当网络中断或远程服务器不可达时日志会先堆积在队列里。Queue.Size: 内存队列的最大消息数。根据内存和日志量设置通常1万到10万。Queue.DiscardMark/DiscardSeverity:“丢卒保车”策略。当队列满到DiscardMark如97500时开始丢弃严重性低于DiscardSeverity数值越大越不严重8对应info的日志优先保证error、crit等高优先级日志能被发送。这是一个非常重要的生产环境配置。Queue.SaveOnShutdown: 启用后关闭时队列内容会保存到磁盘下次启动时恢复。务必开启。Queue.WorkerThreads: 处理队列的工作线程提高并发发送能力。action.resumeRetryCount-1: 连接失败后无限重试确保最终送达。踩坑实录 曾经有一次日志中心网络升级短暂中断了2分钟。发送端没有配置队列导致那段时间所有的error日志全部丢失而info日志因为直接丢弃我们甚至不知道发生过中断。配置了合理的队列和丢弃策略后即使网络中断半小时也只会丢失部分低优先级日志所有高优先级告警都能在恢复后送达。3. omelasticsearch写入Elasticsearch对于现代日志分析栈这是必会项。module(loadomelasticsearch) template(nameestemplate typelist option.jsonon) { constant(value{) constant(value\timestamp\:\) property(nametimereported dateFormatrfc3339) constant(value\,\host\:\) property(namehostname) constant(value\,\severity\:\) property(namesyslogseverity-text) constant(value\,\tag\:\) property(namesyslogtag) constant(value\,\message\:\) property(namemsg formatjson) constant(value\}) } action(typeomelasticsearch serveres-node01 serverport9200 templateestemplate searchIndexsyslog-%$YEAR%.%$MONTH%.%$DAY% # 按日期分索引 bulkmodeon # 启用批量提交极大提升性能 action.resumeretrycount-1 queue.typelinkedlist # 使用链表队列性能更好 queue.size100000 queue.saveonshutdownon )模板必须是JSON:option.jsonon确保输出是合法的JSON。property(namemsg formatjson)会对消息内容进行JSON转义防止破坏结构。批量模式bulkmode:务必开启。它将多条日志打包成一个HTTP请求发送比单条发送性能高出几个数量级。按日期分索引: 像syslog-2024.04.15这样便于在ES中进行生命周期管理ILM定期删除或归档旧数据。3.3 模板定义日志的“样子”模板决定了日志的最终格式无论是写文件还是发往网络。1. 字符串模板 (string)最简单直接使用占位符property。template(nameSimpleFile typestring string%timegenerated% %HOSTNAME% %syslogtag%%msg%\n )常用属性property%timegenerated%: 消息到达rsyslog的时间。%timereported%: 消息中自带的时间戳如果有的话。%HOSTNAME%: 主机名。%syslogtag%: 标签通常是程序名进程ID。%msg%: 日志消息体。%syslogseverity-text%: 优先级文本如“info”。%syslogfacility-text%: 设施文本如“local0”。2. 列表模板 (list)更灵活可以嵌入常量、属性并控制JSON格式。template(nameJsonTemplate typelist option.jsonon) { constant(value{) constant(value\timestamp\:\) property(nametimereported dateFormatrfc3339) constant(value\,\level\:\) property(namesyslogseverity-text) constant(value\,\app\:\) property(nameprogramname) constant(value\,\pid\:) property(nameprocid) constant(value,\message\:\) property(namemsg formatjson) constant(value\}) } # 输出结果{timestamp:2024-04-15T10:30:00Z,level:error,app:nginx,pid:12345,message:connection refused}formatjson: 对属性值进行JSON编码转义引号、换行符等这是输出到ES或任何JSON解析器所必需的。3. 传统格式模板 (legacy)兼容旧的$template指令格式但新项目不建议使用。注意事项 在定义文件路径模板时属性替换可能会包含斜杠/如%programname%可能是nginx/access这会导致创建意外的子目录。如果这不是你期望的可以使用replace操作在模板中过滤掉斜杠或者确保你的标签Tag是规范的。4. 高级配置与性能调优实战当你的日志量从MB级增长到GB级甚至TB级时默认配置很快就会成为瓶颈。以下调优经验来自真实的高负载生产环境。4.1 规则集与队列实现日志流编排规则集允许你将不同的日志流导向不同的处理管道避免所有日志挤在一条路上。# 定义不同的规则集 ruleset(nameinfra_ruleset) { # 处理基础设施日志如系统、内核、cron if $syslogfacility-text kern then { action(typeomfile file/var/log/infra/kernel.log) } # 其他基础设施规则... } ruleset(nameapp_ruleset) { # 处理应用日志写入文件并转发到ES action(typeomfile file/var/log/app/combined.log) action(typeomelasticsearch serveres-host ... ) } ruleset(namealert_ruleset) { # 专门处理告警日志发送邮件或调用Webhook if $syslogseverity 3 then { # severity 3是error数值越小越严重 action(typeommail serversmtp.example.com ...) } } # 在输入处绑定规则集 input(typeimtcp port514 rulesetinfra_ruleset) input(typeimfile file/opt/myapp/*.log tagmyapp: rulesetapp_ruleset)主队列与动作队列主队列 (Main Queue): 位于输入和规则处理之间。默认是Direct直接传递无缓冲。在高负载下可以设置为LinkedList或FixedArray队列来缓冲。$MainMsgQueueType LinkedList # 使用链表队列作为主队列 $MainMsgQueueSize 100000 # 主队列大小动作队列 (Action Queue): 如前所述在每个action()中配置如Queue.Size。当动作如远程转发执行较慢时日志会在这里排队。调优策略IO密集型动作如写本地文件 通常不需要大队列甚至可以用Direct。网络密集型动作如转发到远程ES必须配置足够大的磁盘辅助队列。这是保证可靠性的生命线。action(typeomfwd Target... Protocoltcp queue.typedisk # 使用磁盘队列容量远大于内存 queue.filenamefwd_queue # 队列文件前缀 queue.maxdiskspace2g # 队列最大磁盘占用 queue.size1000000 # 队列可容纳的消息数理论值受磁盘空间限制 queue.highwatermark800000 # 当队列达到此消息数时开始丢弃低优先级日志 queue.lowwatermark200000 # 当队列消费到此消息数时停止丢弃 queue.discardseverity8 queue.workerthreads8 # 增加工作线程加速消费 )使用磁盘队列queue.typedisk可以承受进程重启甚至服务器重启数据不会丢失。highwatermark和lowwatermark实现了更平滑的流量控制。4.2 过滤器精确控制日志流向除了基于设施和优先级的选择器rsyslog支持更强大的过滤表达式。基于属性的过滤if $hostname web-server-01 then { action(typeomfile file/path/to/web01.log) } if $msg contains error then { action(typeomfile file/path/to/errors.log) } if $syslogtag startswith nginx then { call nginx_ruleset # 调用另一个规则集 }使用prifilt()优先级过滤器:prifilt()是传统选择器语法的函数式表达有时在复杂规则中更清晰。if prifilt(*.info) then { ... } # 匹配所有info及以上日志4.3 性能关键参数与监控$MaxMessageSize: 默认是8k。如果日志行非常长比如包含大的堆栈跟踪需要调大这个值否则长日志会被截断。$RepeatedMsgReduction: 默认是on会抑制连续的重复消息。在调试时你可能需要把它设为off来看到所有行。$ActionQueueWorkerThreads: 全局默认的动作队列工作线程数。如果有很多并发动作增加此值可以提升吞吐。$OMFileAsyncWriting: 设置为on启用文件的异步写入可以显著提升写文件性能但极端情况下崩溃可能丢失最后几条日志。监控rsyslog自身 rsyslog会通过syslog设施记录自身的状态和错误。确保你监控了这些日志# 在配置中捕获rsyslog自身的错误 syslog.* /var/log/rsyslog/rsyslog.log stop # 处理完后停止避免再匹配其他规则定期检查/var/log/rsyslog/rsyslog.log查看是否有队列满、写入失败、模块加载失败等错误信息。5. 完整配置案例与排错指南让我们结合一个常见的场景搭建一个完整的配置案例一台应用服务器需要收集本地系统日志、Nginx访问/错误日志、以及一个自定义Java应用的日志并将所有日志同时写入本地归档文件且将错误及以上级别的日志实时转发到中央Elasticsearch集群。5.1 完整配置示例 (/etc/rsyslog.d/99-myapp.conf)# 加载必要模块 module(loadimuxsock) # 提供本地系统日志支持 module(loadimjournal) # 从systemd journal读取可选但推荐 module(loadimfile PollingInterval10) # 监控文件 module(loadomelasticsearch) # 输出到ES module(loadmmjsonparse) # JSON解析模块如果日志是JSON格式 # 全局设置 $WorkDirectory /var/spool/rsyslog $ActionQueueSize 100000 $MainMsgQueueSize 50000 $MaxMessageSize 64k # 适应可能的长日志 # 定义模板 # 1. 本地文件模板传统格式 template(nameLocalFileFormat typestring string%TIMESTAMP% %HOSTNAME% %syslogtag%%msg:::drop-last-lf%\n) # 2. Elasticsearch JSON模板 template(nameESTemplate typelist option.jsonon) { constant(value{) constant(value\timestamp\:\) property(nametimereported dateFormatrfc3339) constant(value\,\host.ip\:\) property(namefromhost-ip) constant(value\,\host.name\:\) property(namehostname) constant(value\,\log.level\:\) property(namesyslogseverity-text) constant(value\,\log.facility\:\) property(namesyslogfacility-text) constant(value\,\process.tag\:\) property(namesyslogtag) constant(value\,\message\:\) property(namemsg formatjson) constant(value\,\fields.env\:\prod\) # 添加自定义字段 constant(value\}) } # 规则集处理所有日志并分流 ruleset(nameall_logs) { # 首先所有日志都写入一个本地聚合文件用于长期归档 action(typeomfile file/data/logs/archive/all-%$YEAR%%$MONTH%%$DAY%.log templateLocalFileFormat createDirson dirCreateMode0755 fileCreateMode0644 ) # 然后根据严重性过滤将error及以上日志发送到ES if $syslogseverity 3 then { # severity 3err, 2crit, 1alert, 0emerg action(typeomelasticsearch serveres-cluster.example.com serverport9200 templateESTemplate searchIndexapp-prod-%$YEAR%.%$MONTH%.%$DAY% bulkmodeon queue.typedisk queue.filenamees_queue queue.maxdiskspace1g queue.size500000 queue.highwatermark400000 queue.lowwatermark100000 queue.discardseverity6 # 在队列压力大时丢弃notice及以下日志 queue.workerthreads4 action.resumeretrycount-1 ) } # 最后根据设施或标签将日志分发到更具体的文件 # 系统/内核日志 if $syslogfacility-text kern then { action(typeomfile file/data/logs/by-facility/kernel.log) } # 通过标签识别Nginx日志 if $syslogtag startswith nginx- then { # 这里可以进一步按访问/错误日志拆分 if $syslogtag nginx-access: then { action(typeomfile file/data/logs/nginx/access.log) } else if $syslogtag nginx-error: then { action(typeomfile file/data/logs/nginx/error.log) } } # 自定义Java应用日志 (使用local1设施) if $syslogfacility-text local1 then { action(typeomfile file/data/logs/myapp/application.log) # 如果Java应用输出的是JSON可以尝试解析 if $msg contains { then { # 使用mmjsonparse解析并为字段添加前缀.json. action(typemmjsonparse) # 解析后可以通过$!all-json原始JSON或$!key访问具体字段 } } } # 定义输入并绑定到总规则集 # 输入1: 传统系统日志和journal input(typeimuxsock rulesetall_logs) input(typeimjournal rulesetall_logs) # 输入2: Nginx日志文件 input(typeimfile File/var/log/nginx/access.log Tagnginx-access: Severityinfo Facilitylocal0 PersistStateInterval100 rulesetall_logs ) input(typeimfile File/var/log/nginx/error.log Tagnginx-error: Severityerror # error文件本身级别设为error Facilitylocal0 PersistStateInterval50 rulesetall_logs ) # 输入3: 自定义Java应用日志文件 (假设应用配置了syslog输出到local1) # 应用需要配置日志框架如Logback通过socket输出到localhost:514 # 这里我们直接通过TCP接收更可靠 module(loadimtcp) input(typeimtcp port51401 rulesetall_logs) # 在Java应用端配置Logback的SyslogAppender指向此端口和local1设施。5.2 常见问题排查速查表遇到问题别慌按照以下顺序检查和排查现象可能原因排查命令与步骤日志完全没有被收集1. rsyslog服务未运行。2. 配置文件语法错误。3. 输入模块未正确加载或绑定。1.systemctl status rsyslog2.rsyslogd -N1 -f /etc/rsyslog.d/your.conf(语法检查)3.logger -t TEST test message然后检查/var/log/messages或journalctl -u rsyslog看服务是否收到。imfile模块不读取文件1. 文件路径错误或权限不足。2.PersistStateInterval设置过大状态文件损坏。3. 文件被轮转如logrotate后inode变化imfile丢失跟踪。1. 检查文件是否存在rsyslog用户通常是syslog是否有读权限。2. 查看状态文件/var/spool/rsyslog/imfile-state:*尝试删除后重启rsyslog会从头读取。3. 确保logrotate配置中使用了copytruncate或postrotate脚本通知rsyslogsystemctl kill -s HUP rsyslog。日志没有转发到远程服务器1. 网络不通或防火墙阻断。2. 远程服务器未监听或配置错误。3. 本地队列已满或动作被挂起。4. DNS解析问题如果使用主机名。1.telnet remote_host port或nc -zv remote_host port2. 检查远程服务器的rsyslog配置是否在监听对应端口。3. 检查rsyslog状态rsyslogctl status(如果支持) 或查看/var/log/rsyslog/rsyslog.log错误日志。4. 在配置中使用IP地址替代主机名。Elasticsearch收到空字段或格式错误1. 模板JSON格式不正确。2.msg字段未用formatjson转义包含破坏JSON的字符。3. 索引映射mapping不匹配。1. 使用logger命令发送一条测试消息用omfile输出到本地文件检查生成的JSON格式。2. 确保模板中property(namemsg formatjson)。3. 在ES中查看索引的映射确认字段类型如timestamp应为date。rsyslog进程占用高CPU或内存1. 队列过大积压严重。2.imfile的PollingInterval设置过小。3. 规则过于复杂或正则表达式性能差。4. 输出目标如ES响应慢阻塞了工作线程。1. 检查队列状态如果版本支持监控指标。2. 适当增大PollingInterval。3. 简化过滤规则避免在每条消息上执行昂贵的操作。4. 检查输出目标的健康状况和网络延迟。为慢动作配置更大的磁盘队列和更多工作线程。日志出现重复记录1. 同一条日志被多个输入源捕获如同时被imjournal和imuxsock捕获。2. 规则配置重复导致同一消息触发多个动作且都写入文件。3. imfile状态文件问题重启后重复读取。1. 检查输入配置避免重复监听同一来源。通常只需imjournal或imuxsock之一。2. 审查规则逻辑使用 stop在动作后停止处理当前消息防止它继续匹配后续规则。3. 检查并修复imfile状态文件。5.3 调试与测试技巧干跑测试rsyslogd -N1 -f /path/to/config.conf是检查语法错误的第一步必须确保返回config is valid。前台运行并输出调试信息rsyslogd -dn -f /path/to/config.conf。-n表示不进入后台-d开启调试模式。这会在终端打印详细的处理过程对排查流程问题极有帮助。使用logger命令发送测试日志logger -p local0.info -t MYAPP This is a test info message发送一条设施为local0级别为info的日志。logger -p local0.err -t MYAPP This is a test error message发送一条错误日志。 然后去你配置的对应文件或ES中查看是否收到格式是否正确。检查内部状态 较新版本的rsyslog支持通过rsyslogctl或HTTP接口查询指标如队列深度。请查阅对应版本的文档。查看rsyslog自身日志 永远别忘了/var/log/rsyslog/rsyslog.log或journalctl -u rsyslog -f这里记录了服务自身的所有错误和警告。配置文件的管理本身也是一门学问。我建议将不同应用的配置拆分成独立的文件放在/etc/rsyslog.d/目录下并以数字前缀排序如10-nginx.conf,20-myapp.conf。这样结构清晰便于维护和更新。每次修改配置后使用systemctl reload rsyslog让配置生效而不是重启以减少服务中断。