journal log日志的问题

Wenlong — Tue, 28 Sep 2021 09:57:08 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn
文章地址：https://www.cnsre.cn/posts/210928957081/
相关话题：https://www.cnsre.cn/tags/故障集/

前言

线上服务器磁盘告警

登录服务器检查磁盘发现一个叫做 journal 的文件夹占用了大量空间。

问题分析

Journald是什么

journal 是 centos7 中 systemd 的一个组件，由 journald处理。捕获系统日志信息、内核日志信息，以及来自原始RAM磁盘的信息，早期启动信息以及所有服务中写入 STDOUT 和 STDERR 数据流的信息。可以说是为 Linux 服务器打造的一种新系统日志方式，这些日志信息写入到二进制文件，使用 journalctl 阅读，默认存放在 /run/log/ 下。

Journald系统主要由三个主要的系统日记服务组件组成：

守护程序：systemd 日志服务由 systemd-journald 守护程序处理。
配置文件：日志服务的配置在 /etc/systemd/journald.conf 里面设置。
日志搜索程序：用于搜索日记日志文件的程序是 journalctl。

journalctl使用

journalctl 常用命令

journalctl               #查看所有日志
journalctl -n 5          #查看最后5条日志
journalctl -p err        #查看err类型的日志
journalctl -f            #不断输出最后10条日志
journalctl --since today #查看今天的日志
journalctl --since "2021-9-28 08:00:00" --until "2021-9-28 09:00:00"
journalctl -o verbose    #查看日志详细信息
journalctl --disk-usage  #检查当前journal使用磁盘量
journalctl --vacuum-time=2d #只保存2天的日志
journalctl --vacuum-size=500M #最大500M
journalctl --verify      #检查journal是否运行正常以及日志文件是否完整无损坏

持久保存日志

由于 journald 默认是保存在内存中，一旦服务器重启，就会丢失，作为生成环境，管理员必须保证系统任何日志不能丢失，通过修改配置文件做持久保存。
同时，systemd-journald.service 的配置文件主要参考 /etc/systemd/journald.conf 的内容，详细的参数可以参考如下

[Journal]
#日志存储到磁盘
Storage=persistent 
#压缩日志
Compress=yes 
#为日志添加序列号
Seal=yes 
#每个用户分别记录日志
SplitMode=uid 
#日志同步到磁盘的间隔，高级别的日志，如：CRIT、ALERT、EMERG 三种总是实时同步
SyncIntervalSec=1m 

#即制日志的最大流量，此处指 30s 内最多记录 100000 条日志，超出的将被丢弃
RateLimitInterval=30s 
#与 RateLimitInterval 配合使用
RateLimitBurst=100000

#限制全部日志文件加在一起最多可以占用多少空间，默认值是10%空间与4G空间两者中的较小者
SystemMaxUse=64G 
#默认值是15%空间与4G空间两者中的较大者
SystemKeepFree=1G 

#单个日志文件的大小限制，超过此限制将触发滚动保存
SystemMaxFileSize=128M 

#日志滚动的最大时间间隔，若不设置则完全以大小限制为准
MaxFileSec=1day
#日志最大保留时间，超过时限的旧日志将被删除
MaxRetentionSec=100year 

#是否转发符合条件的日志记录到本机的其它日志管理系统，如：rsyslog
ForwardToSyslog=yes 
ForwardToKMsg=no
#是否转发符合条件的日志到所有登陆用户的终端
ForwardToWall=yes 
MaxLevelStore=debug 
MaxLevelSyslog=err 
MaxLevelWall=emerg 
ForwardToConsole=no 
#TTYPath=/dev/console
#MaxLevelConsole=info
#MaxLevelKMsg=notice

处理过程

知道了这些，就可以轻松的处理这些日志了。
检查当前journal使用磁盘量

`1`	`journalctl --disk-usage`

清理方法可以采用按照日期清理，或者按照允许保留的容量清理，只保存2天的日志，最大500M

1
2

journalctl --vacuum-time=2d
journalctl --vacuum-size=500M

要启用日志限制持久化配置，可以修改

vim /etc/systemd/journald.conf
SystemMaxUse=16M
ForwardToSyslog=no

# 重启 
systemctl restart systemd-journald.service

检查journal是否运行正常以及日志文件是否完整无损坏

`1`	`journalctl --verify`