1. Linux日志系统概述日志文件是Linux系统的黑匣子记录了系统运行的每一个重要事件。作为一名运维工程师我每天至少有30%的工作时间在与各种日志文件打交道。不同于Windows系统将日志集中存储在事件查看器中Linux采用分散式日志架构不同类型的日志分布在系统的各个角落。系统主要日志目录包括/var/log/messages通用系统活动日志RHEL/CentOS系/var/log/syslog通用系统日志Debian/Ubuntu系/var/log/auth.log认证相关日志/var/log/kern.log内核日志/var/log/dmesg硬件和驱动日志/var/log/nginx/Nginx服务日志/var/log/mysql/MySQL数据库日志提示不同Linux发行版的系统日志路径可能不同RHEL系使用rsyslog默认将内核消息记录到/var/log/messages而Debian系则记录到/var/log/syslog2. 基础日志查看命令2.1 实时日志监控当系统出现问题时第一时间需要查看实时日志流# 查看系统日志实时更新通用 tail -f /var/log/syslog # 查看Nginx访问日志 tail -f /var/log/nginx/access.log # 同时监控多个日志文件 multitail /var/log/syslog /var/log/nginx/error.log我习惯使用multitail工具它支持分屏显示多个日志文件颜色高亮不同日志级别支持正则过滤交互式搜索功能2.2 历史日志查询# 查看最后100行日志 tail -n 100 /var/log/syslog # 查看某个时间段的日志效率较低 sed -n /2023-08-01 10:00/,/2023-08-01 11:00/p /var/log/syslog # 使用journalctl查询systemd日志现代Linux系统 journalctl --since 2023-08-01 10:00:00 --until 2023-08-01 11:00:00经验对于大日志文件避免直接使用vim打开建议先用less命令查看可以防止内存溢出3. 高级日志分析技巧3.1 日志统计与分析# 统计Nginx访问日志中每个IP的访问次数 awk {print $1} /var/log/nginx/access.log | sort | uniq -c | sort -nr # 查找错误日志中的关键错误显示前后5行 grep -A 5 -B 5 error /var/log/nginx/error.log # 使用logwatch生成日志摘要报告 logwatch --range Today --detail High3.2 日志时间范围处理# 查找最近1小时内修改过的日志文件 find /var/log -type f -mmin -60 # 提取两个时间点之间的日志需要日志时间格式规范 awk /2023-08-01 10:00:/,/2023-08-01 11:00:/ /var/log/syslog # 使用date命令配合日志分析 grep $(date -d 1 hour ago %b %d %H:) /var/log/syslog4. 日志管理维护命令4.1 日志轮转配置Linux系统使用logrotate工具管理日志轮转# 手动执行日志轮转 logrotate -f /etc/logrotate.conf # 查看日志轮转配置 cat /etc/logrotate.d/nginx典型的日志轮转配置示例/var/log/nginx/*.log { daily missingok rotate 14 compress delaycompress notifempty create 0640 www-data adm sharedscripts postrotate /usr/bin/systemctl reload nginx /dev/null endscript }4.2 日志清理策略# 安全清空日志文件不删除文件 /var/log/syslog # 查找并删除7天前的日志文件 find /var/log -type f -name *.log -mtime 7 -exec rm -f {} \; # 使用tmpwatch自动清理旧日志 tmpwatch --mtime 7d /var/log/audit警告直接删除日志文件可能导致正在写入的进程保持文件句柄建议使用truncate或重定向清空5. 安全审计日志分析5.1 auth.log分析# 统计登录失败尝试 grep Failed password /var/log/auth.log | awk {print $11} | sort | uniq -c # 查找可疑的sudo提权记录 grep sudo: /var/log/auth.log | grep -v session opened # 检查SSH暴力破解尝试 grep Failed password for invalid user /var/log/auth.log5.2 使用auditd进行高级审计# 查看审计规则 auditctl -l # 搜索文件访问审计记录 ausearch -f /etc/passwd # 生成审计报告 aureport -au6. 应用服务日志分析6.1 MySQL慢查询日志# 分析慢查询日志 mysqldumpslow -s t /var/log/mysql/mysql-slow.log # 使用pt-query-digest进行高级分析 pt-query-digest /var/log/mysql/mysql-slow.log6.2 Nginx日志分析# 统计HTTP状态码 awk {print $9} /var/log/nginx/access.log | sort | uniq -c # 分析请求处理时间 awk {print $1,$(NF-1)} /var/log/nginx/access.log | sort -k2 -nr7. 日志可视化与分析工具7.1 使用ELK Stack# 快速启动ELK容器 docker-compose -f elk-docker/docker-compose.yml up -d # 配置Filebeat收集日志 filebeat modules enable nginx filebeat setup service filebeat start7.2 轻量级替代方案# 使用GoAccess实时分析 goaccess /var/log/nginx/access.log --log-formatCOMBINED # 使用lnav高级日志查看器 lnav /var/log/syslog /var/log/nginx/error.log8. 实战案例磁盘空间告警排查# 1. 检查磁盘使用情况 df -h # 2. 查找大文件 find / -type f -size 100M -exec ls -lh {} \; # 3. 检查日志文件大小 ls -lh /var/log/*.log # 4. 确认是哪个服务产生的日志 lsof /var/log/syslog # 5. 临时解决方案 truncate -s 0 /var/log/huge.log # 6. 长期解决方案 vim /etc/logrotate.d/custom_app9. 日志分析性能优化技巧9.1 加速grep搜索# 使用LC_ALLC加速ASCII文本搜索 LC_ALLC grep error /var/log/syslog # 使用ripgrep替代grep速度更快 rg error /var/log/syslog9.2 并行处理大日志# 使用parallel并行处理 cat big.log | parallel --pipe grep error # 使用awk多线程处理 mawk -v parallel4 {print | cat /tmp/out.NR%parallel}10. 日志命令速查表场景命令示例实时监控tail -f,multitail,lnav历史查询grep,awk,sed统计汇总sort时间过滤journalctl --since,date日志轮转logrotate,truncate安全审计ausearch,aureport性能分析pt-query-digest,mysqldumpslow可视化goaccess,ELK Stack掌握这些日志分析命令后你会发现90%的系统问题都能通过日志找到线索。在实际工作中我建议建立自己的命令手册记录常用日志分析模式这将大幅提高故障排查效率。