1. 项目概述当服务器被“敲门”之后干运维或者自己搭服务器的朋友最怕看到的场景之一可能就是某天登录服务器发现CPU莫名飙高、硬盘空间被占满或者更直接的——桌面上多了一个陌生的文件。那一刻心里“咯噔”一下基本可以确定服务器被入侵了。恐慌和焦虑是本能反应但紧接着一个更实际的问题会浮现在脑海这家伙是怎么进来的他的入口点在哪里不把这个源头堵上今天清除了后门明天他可能换个姿势又进来了。排查入侵源就像刑侦破案需要找到“案发现场”的第一手证据。而在Linux服务器上最忠实、最不会撒谎的“目击证人”就是系统日志尤其是记录着每一次敲门尝试和成功进入的登录日志。很多人一上来就急着用各种安全工具全盘扫描这当然有必要但往往事倍功半。高手的第一反应永远是先“问询”日志这个现场记录员。通过分析登录日志我们可以清晰地勾勒出入侵者的行动轨迹他从哪个IP、在什么时间、用什么账号或尝试用什么账号试图或成功登录了系统。这不仅是溯源的关键更是评估影响范围、制定后续加固策略的核心依据。这篇文章我就结合自己多年处理安全应急响应的实战经验带你走一遍通过登录日志排查入侵源的完整流程。我们不会停留在简单的last、lastb命令而是深入日志文件的结构、分析技巧并串联账号、进程、文件等多个维度的交叉验证手把手教你如何像侦探一样从海量日志中精准定位那个“不速之客”。无论你是运维工程师、安全爱好者还是拥有自己VPS的个人开发者这套方法都能让你在遇到问题时不再手足无措。2. 入侵排查的核心思路与日志定位在开始动手查日志之前我们必须建立一个清晰的排查思路。盲目地翻看日志文件很容易陷入细节的海洋而迷失方向。一个高效的应急响应流程应该是目标驱动、层层递进的。2.1 应急响应的第一步隔离与评估当你怀疑服务器被入侵时第一要务不是立刻开始排查而是控制影响。如果这是一台线上业务服务器贸然重启或断网可能会造成业务中断。因此需要根据实际情况评估立即下线如果业务可以短暂暂停或者这是台测试/非核心服务器最安全的做法是立即将其从网络中断开拔网线或云控制台禁用网卡防止入侵者持续控制或对内网进行横向移动。创建快照如果是在云平台上如阿里云、腾讯云在断网前为系统盘创建一个完整的快照。这个快照是后续进行深度取证分析的“案发现场”原始证据非常重要。启用备用节点将业务流量切换到干净的备用服务器保证业务连续性。完成初步控制后我们才进入真正的排查阶段。而排查的起点就是回答这几个核心问题谁Who在什么时候When从哪来Where做了什么What。登录日志正是回答前三个问题的关键。2.2 Linux 登录日志家族四位核心“证人”Linux 系统记录了多种类型的登录信息它们存放在/var/log/目录下各有侧重日志文件格式查看命令核心信息/var/log/secure(或/var/log/auth.log取决于发行版)文本cat,grep,less认证过程详情。记录所有与身份验证相关的事件如SSH登录成功/失败、sudo提权、用户创建/删除等。这是最丰富的线索来源。/var/log/wtmp二进制last成功的登录会话历史。记录所有用户的登录、注销以及系统的启动、关机事件。数据是持久的。/var/log/btmp二进制lastb失败的登录尝试。专门记录错误的登录尝试是发现暴力破解攻击的主要战场。/var/log/lastlog二进制lastlog所有用户最后一次登录的时间。快速查看哪些账户最近被使用过。注意/var/log/secure在 RHEL/CentOS/Fedora 等使用 Red Hat 系发行版中常见而 Debian/Ubuntu 等通常使用/var/log/auth.log。如果你的系统没有secure文件请检查auth.log。2.3 实操起点快速锁定异常时间点在深入分析具体日志前一个高效的技巧是先通过last命令快速浏览近期所有成功登录记录寻找可疑的时间点或用户。last -n 50 # 查看最近50条登录记录执行后你会看到类似这样的输出root pts/0 192.168.1.100 Mon Apr 10 14:25 still logged in admin pts/1 203.0.113.5 Mon Apr 10 03:18 - 03:22 (00:04) root pts/0 192.168.1.100 Sun Apr 9 22:15 - 00:10 (01:55)排查时重点关注以下几点异常时间是否有在非工作时间例如凌晨2-5点的登录记录这是攻击者活动的典型时间段。异常IP登录IP是否来自陌生的地理位置可通过whois或在线IP库简单查询是否来自已知的恶意IP段异常用户是否有你未创建或已禁用的用户成功登录root用户是否从非常规地址登录短暂会话是否存在登录后立即注销的短暂会话这可能是一次试探性登录或自动化脚本的行为。一旦发现可疑记录记下具体的时间戳、用户名和IP地址这将是我们下一步深入分析secure日志的“坐标”。3. 深度解析 /var/log/secure挖掘入侵痕迹如果说last命令给了我们一个“访客登记表”的摘要那么/var/log/secure就是记录了每个访客“敲门、验明身份、进门”全过程的监控录像带。这里面的信息粒度极细是分析攻击手法的宝库。3.1 理解 secure 日志的典型条目我们来看几条关键的日志格式理解它们传达的信息1. 失败的 SSH 登录尝试密码爆破:Apr 10 03:18:15 localhost sshd[12345]: Failed password for invalid user admin from 203.0.113.5 port 54322 ssh2 Apr 10 03:18:17 localhost sshd[12346]: Failed password for root from 203.0.113.5 port 54323 ssh2信息IP203.0.113.5在尝试用admin和root账号进行密码爆破。价值这是最直接的攻击迹象。大量此类日志集中出现表明正在遭受自动化暴力破解。2. 成功的 SSH 登录:Apr 10 03:22:01 localhost sshd[12350]: Accepted password for admin from 203.0.113.5 port 54322 ssh2信息IP203.0.113.5使用admin账号和密码认证成功登录。价值这就是入侵成功的“犯罪现场”记录它直接关联了攻击源IP和受害账户。3. 通过公钥认证的登录:Apr 10 04:05:11 localhost sshd[12400]: Accepted publickey for root from 61.129.XX.XX port 38124 ssh2: RSA SHA256:xxxxxx信息使用SSH密钥对成功认证。这可能是管理员正常登录也可能是攻击者窃取了私钥后的登录。价值需要结合上下文判断。如果该IP并非你的常用地址则极有可能私钥已泄露。4. 用户添加/删除、sudo 提权:Apr 10 04:30:22 localhost useradd[12450]: new user: namehacker, UID1005, GID1005, home/home/hacker Apr 10 04:35:10 localhost sudo: admin : TTYpts/0 ; PWD/tmp ; USERroot ; COMMAND/bin/bash信息创建了新用户hacker用户admin通过sudo提权到了root并执行了bash。价值直接记录了攻击者在系统内进行的权限维持操作创建后门账户和特权操作。3.2 实战日志分析从海量数据中提取线索面对动辄数MB甚至GB的secure日志我们需要用grep,awk,sort,uniq这些命令行工具进行高效筛选和统计。场景一定位爆破攻击的源IP和字典这是最常见的场景。攻击者会用成千上万次尝试来碰运气。# 1. 统计所有失败登录的IP地址及其尝试次数按次数降序排列最活跃的攻击源排前面 grep Failed password /var/log/secure | awk {print $11} | sort | uniq -c | sort -nr | head -20 # 输出示例 # 1502 203.0.113.5 # 322 198.51.100.10 # 45 192.168.1.200 # 这清晰地显示 203.0.113.5 尝试了1502次是首要怀疑对象。 # 2. 进一步查看这个IP尝试了哪些用户名攻击字典 grep Failed password.*203.0.113.5 /var/log/secure | awk {print $9} | sort | uniq -c | sort -nr | head -10 # 输出可能显示它尝试了 root, admin, test, ubuntu, oracle 等常见用户名。 # 3. 查看成功登录的IP有哪些可能爆破成功 grep Accepted password /var/log/secure | awk {print $11} | sort | uniq -c | sort -nr # 如果发现可疑IP出现在这里那基本可以确定入侵成功并且知道了入侵者使用的账号。场景二排查可疑的成功登录记录成功登录的记录更需要仔细审查特别是非管理员行为。# 1. 提取所有成功登录的详细记录时间、用户、IP grep Accepted /var/log/secure | awk {print $1, $2, $3, $9, $11} # 示例输出Apr 10 03:22 admin 203.0.113.5 # 2. 重点关注root用户的成功登录攻击者的终极目标 grep Accepted.*root /var/log/secure # 检查root是否从非信任的IP或通过密码方式登录现代运维通常禁用root的密码SSH登录。 # 3. 结合时间范围筛选。如果你通过last命令发现可疑登录发生在4月10日凌晨3点附近 grep Apr 10 0[3-4]:.*Accepted /var/log/secure # 这样可以聚焦在特定时间段提高分析效率。场景三追踪攻击者在系统内的操作登录成功后攻击者往往会进行一系列操作。# 1. 检查是否有新用户被添加后门账户 grep useradd /var/log/secure # 2. 检查sudo提权记录看普通用户是否执行了高危命令 grep sudo: /var/log/secure | grep -v COMMAND/usr/bin/ | head -20 # 过滤掉一些常见的、相对安全的sudo命令聚焦异常操作。 # 3. 检查su命令切换用户记录 grep su: /var/log/secure | grep -v session opened for user root # 查找非root用户之间的切换或者失败的su尝试。实操心得分析日志时一定要有“时间线”意识。将last发现的异常登录时间点作为分析secure日志的时间锚点。围绕这个时间点前后几分钟仔细查看所有日志条目你可能会发现攻击的完整链条失败爆破 - 成功登录 - 创建用户 - sudo提权 - 下载执行恶意程序。4. 扩展排查关联日志与系统状态登录日志是入口但入侵者进来后必然会留下更多痕迹。我们不能只盯着入口还要检查他在“房间”里做了什么。这就需要关联其他系统信息进行交叉验证。4.1 关联用户与进程排查攻击者登录后一定会启动进程来执行他的操作挖矿、留后门、扫描内网等。1. 检查当前异常进程和网络连接# 查看所有网络连接寻找可疑的外连IP和端口 netstat -antp | grep ESTABLISHED # 重点关注连接到不常见海外IP如俄罗斯、荷兰等挖矿池常见地区或高位端口的连接。 # 查看资源占用异常的进程 top -c -o %CPU # 按CPU排序 top -c -o %MEM # 按内存排序 # 留意陌生的进程名、高资源占用的脚本如 sh、bash、curl、wget 等可能被恶意利用。2. 通过可疑用户关联进程如果你从日志中发现了可疑用户比如hacker可以专门筛查该用户的进程。ps -ef | grep ^hacker # 查看以hacker用户运行的进程 pkill -u hacker # **谨慎操作** 终止该用户的所有进程在应急时可用。4.2 排查后门与持久化机制有经验的攻击者不会满足于一次登录他们会安装后门确保自己能随时回来。1. 检查定时任务 (Cron)这是最常用的持久化方式之一。# 查看系统级定时任务 cat /etc/crontab ls -la /etc/cron.d/ /etc/cron.daily/ /etc/cron.hourly/ /etc/cron.monthly/ /etc/cron.weekly/ # 查看所有用户的定时任务重点 for user in $(cut -f1 -d: /etc/passwd); do echo Crontab for $user ; crontab -l -u $user 2/dev/null; done # 特别注意 root、www-data、以及你发现的可疑用户的crontab。寻找指向奇怪脚本或远程地址的URL。2. 检查开机启动项# 检查常见的启动脚本 ls -la /etc/rc.local /etc/rc.d/rc.local 2/dev/null ls -la /etc/init.d/ /etc/systemd/system/ 2/dev/null | grep -E \.service$ # 使用 systemctl 查看启用的服务 systemctl list-unit-files --typeservice --stateenabled # 寻找陌生的、名称具有迷惑性的服务例如将恶意服务命名为 syslog-ng 以模仿 syslog。3. 检查敏感目录和隐藏文件攻击者喜欢把工具藏在/tmp、/dev/shm、/var/tmp等目录或者使用.开头的隐藏文件。# 查找近期被修改的可执行文件或脚本 find / -type f \( -name *.sh -o -name *.py -o -name *.pl \) -mtime -7 2/dev/null | head -30 # 查找 /tmp 和 /dev/shm 目录下的可疑文件 ls -la /tmp/ /dev/shm/ 2/dev/null | grep -v ^total # 查找隐藏的配置文件或脚本以点开头 find /home -name .* -type f -ls 2/dev/null | head -304.3 使用专用工具进行辅助查杀手动排查是基础但借助一些成熟的安全工具可以提高效率和覆盖面。1. Rootkit 检查Rootkit 会深度隐藏进程、文件、网络连接需要专门工具。# 安装并运行 rkhunter (需要root) yum install rkhunter -y # CentOS/RHEL apt-get install rkhunter -y # Debian/Ubuntu rkhunter --check --skip-keypress # 检查完成后查看报告 /var/log/rkhunter.log2. 病毒/恶意软件扫描# 安装 ClamAV yum install clamav clamav-update -y # CentOS/RHEL apt-get install clamav clamav-daemon -y # Debian/Ubuntu # 更新病毒库首次运行较慢 freshclam # 扫描关键目录 clamscan -r -i /bin /usr/bin /sbin /usr/sbin /tmp /home # -r 递归-i 只显示被感染的文件。注意事项工具只是辅助。它们可能会误报将正常文件标记为可疑也可能会漏报新型恶意软件无法识别。工具扫描结果必须结合你的手动分析来判断。例如如果rkhunter报告某个系统命令被修改你需要用rpm -Vf /bin/ls对于RPM系统或debsums对于DEB系统来验证其完整性。5. 入侵事件复盘与加固建议完成入侵源排查和痕迹清理后工作只完成了一半。更重要的是复盘和加固防止同一类攻击再次发生。5.1 事件复盘报告要点一份好的复盘报告不仅记录事实更要分析原因和给出行动项。时间线清晰列出从首次异常登录到发现入侵、到完成处置的完整时间线。攻击路径入口点最终确认的攻击入口如SSH密码爆破admin账号成功。攻击源攻击者IP如203.0.113.5可查询其归属地、ISP。横向移动攻击者在系统内部做了什么如创建用户hacker添加sudo权限下载挖矿程序到/tmp/.X11-unix。影响范围被读取/篡改/删除的数据被植入的后门消耗的资源CPU/带宽。根本原因为什么攻击能成功弱密码SSH服务配置不当如允许密码登录、允许root登录系统或应用存在未修复的漏洞缺乏有效的监控告警处置措施已经采取了哪些行动如清除恶意进程、删除后门账户、修复漏洞、恢复数据。5.2 关键加固措施推荐根据最常见的入侵原因我强烈建议你立即实施以下几项加固措施1. SSH 服务加固重中之重# 编辑SSH配置文件 vim /etc/ssh/sshd_config确保或修改以下关键配置Port 2222 # 修改默认22端口减少自动化扫描 PermitRootLogin no # 禁止root直接登录 PasswordAuthentication no # 禁用密码登录强制使用密钥对 PubkeyAuthentication yes # 启用公钥认证 AllowUsers your_username # 只允许特定用户登录用你的用户名替换修改后重启服务systemctl restart sshd。务必在重启前确保你的公钥已添加到服务器的~/.ssh/authorized_keys文件中并且用新端口测试连接成功否则你可能把自己锁在外面2. 配置防火墙 (iptables/firewalld)只开放必要的端口。# 使用firewalld (CentOS 7/RHEL) firewall-cmd --permanent --add-port2222/tcp # 开放新SSH端口 firewall-cmd --permanent --remove-servicessh # 移除默认22端口 firewall-cmd --reload # 使用UFW (Ubuntu/Debian) ufw allow 2222/tcp ufw deny 22/tcp ufw --force enable3. 启用 Fail2ban 自动封禁Fail2ban 可以监控日志自动封禁多次登录失败的IP。yum install fail2ban -y # 或 apt-get install fail2ban systemctl enable --now fail2ban默认配置通常已足够它会监控/var/log/secure在短时间内多次失败后将IP加入iptables黑名单一段时间。4. 建立日志集中管理与监控将服务器的关键日志尤其是/var/log/secure实时同步到另一台安全的、独立的日志服务器上。这样即使服务器被完全攻陷攻击者也无法抹除入侵证据。可以使用rsyslog或Logstash等工具实现。5. 定期审计与更新最小权限原则为每个服务或应用创建专属的低权限用户运行。定期更新yum update或apt update apt upgrade及时修补安全漏洞。漏洞扫描定期使用lynis、OpenVAS等工具进行安全审计。备份与演练定期备份重要数据和配置文件并演练恢复流程。服务器安全是一个持续的过程没有一劳永逸的银弹。通过这次入侵事件的深度排查你不仅清除了威胁更重要的是建立起一套属于自己的安全排查方法论和加固清单。下次再遇到异常告警你就能更加从容、精准地应对了。记住日志是你的朋友保持对它的敬畏和熟悉是守护服务器安全的第一道也是最重要的一道防线。