LVSLinux Virtual Server负载均衡全解析一、LVS 核心概念1.1 什么是 LVSLVSLinux Virtual Server是 Linux 内核中的四层负载均衡软件由章文嵩博士于 1998 年创建。它工作在内核空间通过 netfilter 框架能将大量并发请求按调度算法分发到后端真实服务器Real Server从而实现高可用、高并发的服务集群。1.2 关键术语术语说明VS(Virtual Server)负载均衡器对外提供虚拟服务VIP虚拟 IP客户端访问的入口 IPDIP与后端 RS 通信的 IPDirector IPRS(Real Server)真正处理业务请求的后端服务器CIP客户端 IPRIP后端服务器的实际 IPipvsadm用户空间工具用于管理 LVS 规则ipvs内核模块真正执行包转发⚠️ LVS 没有统一配置文件所有规则通过ipvsadm命令动态管理。二、LVS 工作原理简述客户端请求到达 Director ServerVS的 VIP。数据包经过内核 PREROUTING 链发现目标是本机送往 INPUT 链。INPUT 链上的 ipvs 模块根据预设的集群服务规则修改数据包的目标地址/端口或封装新头部。修改后的包经 POSTROUTING 链转发给选中的 RS。RS 处理请求后根据工作模式决定响应路径可能经 VS 返回也可能直接返回客户端。三、LVS 三种工作模式对比3.1 NAT 模式Network Address Translation特点请求和响应都经过 VSVS 需做源/目标 NAT。优点RS 可使用私有 IP支持端口映射配置简单。缺点VS 容易成为瓶颈适合小规模集群。关键要求RS 的网关必须指向 DIP。3.2 DR 模式Direct Routing ★★★★★特点请求经 VS 转发响应直接由 RS 返回客户端。优点性能最高VS 几乎无瓶颈生产环境最常用。缺点VS 与 RS 必须在同一二层网络同一交换机不支持端口映射。关键要求RS 的 lo 或 dummy 网卡配置 VIP掩码 32。关闭 RS 对 VIP 的 ARP 响应修改内核参数。3.3 TUN 模式Tunneling特点VS 封装 IP 隧道额外 IP 头将请求转发给 RS。优点VS 和 RS 可以跨网段。缺点隧道开销大配置复杂很少使用。四、调度算法静态算法不关心后端负载RRRound Robin轮询WRRWeighted RR加权轮询SHSource Hashing源地址哈希DHDestination Hashing目标地址哈希动态算法依据后端连接数等LCLeast Connections最少连接数WLCWeighted LC默认算法加权最少连接SEDShortest Expected Delay最短期望延迟NQNever Queue永不排队LBLCLocality-Based LC基于局部性的最少连接LBLCRLBLC with Replication带复制的局部性最少连接五、实验环境总览实验使用 VMware 虚拟机划分两个网段10.1.1.0/24模拟外网客户端网段10.1.8.0/24内网服务器网段路由器router负责双网段互通开启 IP 转发。六、NAT 模式实验含注释6.1 网络拓扑与角色主机名IP 地址网关角色client210.1.1.2110.1.1.10客户端lvs10.1.1.10 (ens36)10.1.8.10 (ens33)10.1.8.2LVSDirectorweb1~web310.1.8.11~1310.1.8.10Real ServerNginx⚠️ NAT 模式下RS 的网关必须指向 LVS 的 DIP10.1.8.10。6.2 基础配置省略重复部分① 开启 LVS 的 IP 转发及防火墙# 开启路由转发echonet.ipv4.ip_forward 1/etc/sysctl.confsysctl-p# 配置防火墙允许伪装systemctlenablefirewalld--nowfirewall-cmd --set-default-zonetrusted firewall-cmd --add-masquerade--permanentfirewall-cmd --add-masquerade② 部署后端 Nginxweb1~web3# 安装 Nginxyuminstall-ynginx# 生成测试主页显示主机名echowelcome to$(hostname)/usr/share/nginx/html/index.html systemctlenablenginx--now③ 安装 ipvsadmLVS 上yuminstall-yipvsadmtouch/etc/sysconfig/ipvsadm systemctlenableipvsadm--now6.3 配置 LVS NAT 负载均衡带注释# 1. 添加一个虚拟服务VIP 10.1.1.10端口 80使用轮询算法rripvsadm-A-t10.1.1.10:80-srr# 2. 添加真实服务器使用 NAT 模式-m权重为 1默认ipvsadm-a-t10.1.1.10:80-r10.1.8.11-mipvsadm-a-t10.1.1.10:80-r10.1.8.12-mipvsadm-a-t10.1.1.10:80-r10.1.8.13-m# 3. 保存规则到文件以便开机恢复ipvsadm-save-n/etc/sysconfig/ipvsadm# 4. 查看规则ipvsadm-Ln输出示例Prot LocalAddress:Port Scheduler Flags - RemoteAddress:Port Forward weight ActiveConn InActConn TCP 10.1.1.10:80 rr - 10.1.8.11:80 Masq 1 0 0 - 10.1.8.12:80 Masq 1 0 0 - 10.1.8.13:80 Masq 1 0 06.4 验证 NAT 模式在客户端10.1.1.21执行循环测试foriin{1..90};docurl-s10.1.1.10;done|sort|uniq-c结果示例轮询30 welcome to web1.laogao.cloud 30 welcome to web2.laogao.cloud 30 welcome to web3.laogao.cloud6.5 动态修改调度算法为 WRR# 修改虚拟服务的调度算法为加权轮询ipvsadm-E-t10.1.1.10:80-swrr# 修改权重web2 权重 2web3 权重 3web1 保持默认 1ipvsadm-e-t10.1.1.10:80-r10.1.8.12-m-w2ipvsadm-e-t10.1.1.10:80-r10.1.8.13-m-w3再次测试请求比例应为 1:2:3web1:web2:web3。6.6 NAT 模式的坑 解决问题client110.1.8.21无法通过 VIP 10.1.1.10 访问后端原因client1 发出的请求经过 LVS 转发到 RSRS 看到源 IP 是 10.1.8.21同网段会直接将响应发回 client1而不是经过 LVS。client1 收到的响应源 IP 是 RS 的真实 IP10.1.8.11而非 VIP导致连接混乱。解决方法在每台 RS 上添加静态路由强制将发往 client1 的响应包路由到 LVSnmcli connection modify ens33 ipv4.routes10.1.8.21 255.255.255.255 10.1.8.10nmcli connection up ens33更通用的做法是让 RS 的默认网关指向 LVS这样所有响应包都经过 LVS 做源 NAT。七、DR 模式实验生产环境首选含详细注释7.1 网络拓扑与角色主机名IP 地址网关VIP角色client210.1.1.2110.1.1.20无外网客户端client110.1.8.2110.1.8.20无内网客户端lvs10.1.8.1010.1.8.2010.1.8.100Directorweb1~web310.1.8.11~1310.1.8.2010.1.8.100Real Server路由器配置略类似 NAT 模式需开启转发。7.2 Real Server 关键配置所有 RS 执行① 创建 dummy 网卡并绑定 VIP掩码 32# 添加 dummy 虚拟网卡设置 IP 为 10.1.8.100/32仅自己可见nmcli connectionaddtypedummy ifname dummy con-name dummy\ipv4.method manual ipv4.addresses10.1.8.100/32 nmcli connection up dummy② 修改 ARP 内核参数防止 RS 响应 VIP 的 ARP 请求cat/etc/sysctl.confEOF net.ipv4.conf.all.arp_ignore 1 net.ipv4.conf.all.arp_announce 2 net.ipv4.conf.dummy.arp_ignore 1 net.ipv4.conf.dummy.arp_announce 2 EOFsysctl-p参数解释参数值含义arp_ignore1仅当 ARP 请求的目标 IP 与接收网卡的主 IP 完全匹配时才响应arp_announce2发送 ARP 通告时使用与目标 IP 同子网的本地 IP 作为源 IP否则不发送 目的避免 RS 上的 VIP 被广播出去导致路由器将流量直接发给 RS 而非 LVS。7.3 DirectorLVS配置① 绑定 VIP可选用于本机接收报文# 同样添加 dummy 网卡绑定 VIP也可直接配置在物理网卡上nmcli connectionaddtypedummy ifname dummy con-name dummy\ipv4.method manual ipv4.addresses10.1.8.100/32 nmcli connection up dummy② 安装 ipvsadm 并配置 DR 模式规则yuminstall-yipvsadmtouch/etc/sysconfig/ipvsadm systemctlenableipvsadm--now# 清除旧规则ipvsadm-C# 添加虚拟服务VIP:80调度算法 rripvsadm-A-t10.1.8.100:80-srr# 添加真实服务器使用 DR 模式-g权重默认 1ipvsadm-a-t10.1.8.100:80-r10.1.8.11-gipvsadm-a-t10.1.8.100:80-r10.1.8.12-gipvsadm-a-t10.1.8.100:80-r10.1.8.13-g# 保存规则ipvsadm-save-n/etc/sysconfig/ipvsadm查看规则ipvsadm-Ln# Forward 列显示 Route 表示 DR 模式Prot LocalAddress:Port Scheduler -RemoteAddress:Port Forward weight ActiveConn InActConn TCP10.1.8.100:80 rr -10.1.8.11:80 Route100-10.1.8.12:80 Route100-10.1.8.13:80 Route1007.4 验证 DR 模式从客户端client1 或 client2访问 VIPforiin{1..90};docurl-s10.1.8.100;done|sort|uniq-c输出应为均匀轮询每个 RS 30 次。此时用tcpdump抓包可见请求包源 IP 为客户端目标 IP 为 VIP10.1.8.100MAC 目标为 LVS 的 MAC响应包直接从 RS 返回客户端源 IP 为 VIP不经过 LVS。7.5 DR 模式一键脚本RS 端#!/bin/bash# 文件名: rs_dr.sh# 描述: 配置 Real Server 的 VIP 及 ARP 参数VIP10.1.8.100case$1instart)echo-nStart LVS Real Server ... # 添加 dummy 网卡绑定 VIPifnmcli connection|grep-qdummy;thennmcli connection modify dummy ipv4.method manual ipv4.addresses$VIP/32elsenmcli connectionaddtypedummy ifname dummy con-name dummy\ipv4.method manual ipv4.addresses$VIP/32finmcli connection up dummy# 关闭 ARP 响应和通告echo1/proc/sys/net/ipv4/conf/all/arp_ignoreecho2/proc/sys/net/ipv4/conf/all/arp_announceecho1/proc/sys/net/ipv4/conf/dummy/arp_ignoreecho2/proc/sys/net/ipv4/conf/dummy/arp_announceechoOK;;stop)echo-nStop LVS Real Server ... nmcli connection delete dummyecho0/proc/sys/net/ipv4/conf/all/arp_ignoreecho0/proc/sys/net/ipv4/conf/all/arp_announceechoOK;;*)echoUsage:$0{start|stop}exit1esac7.6 DR 模式一键脚本Director 端#!/bin/bash# 文件名: lvs_dr.sh# 描述: 配置 LVS Director 的 VIP 和 ipvs 规则VIP10.1.8.100PORT80RS_LIST10.1.8.11 10.1.8.12 10.1.8.13SCHEDULERrr# 可改为 wrr, wlc 等# 安装 ipvsadm若未安装rpm-qipvsadm||yuminstall-yipvsadmcase$1instart)echo-nStart LVS Director Server ... # 绑定 VIP 到 dummy 网卡或物理网卡别名if!ipaddr|grep-q$VIP;thennmcli connection modify ens33 ipv4.addresses$VIP/32 nmcli connection up ens33fi# 清空所有规则ipvsadm-C# 添加虚拟服务ipvsadm-A-t${VIP}:${PORT}-s$SCHEDULER# 添加真实服务器DR 模式 -gforrsin$RS_LIST;doipvsadm-a-t${VIP}:${PORT}-r$rs-gdoneechoOK;;stop)echo-nStop LVS Director Server ... ipvsadm-Cnmcli connection modify ens33-ipv4.addresses$VIP/32 nmcli connection up ens33echoOK;;*)echoUsage:$0{start|stop}exit1esac八、LVS 常用命令速查表命令说明ipvsadm -A -t VIP:port -s rr添加 TCP 虚拟服务调度算法 rripvsadm -a -t VIP:port -r RIP -g添加 DR 模式真实服务器ipvsadm -a -t VIP:port -r RIP -m添加 NAT 模式真实服务器ipvsadm -E -t VIP:port -s wrr修改调度算法为 wrripvsadm -e -t VIP:port -r RIP -w 2修改某 RS 权重为 2ipvsadm -d -t VIP:port -r RIP删除某 RSipvsadm -D -t VIP:port删除整个虚拟服务ipvsadm -C清空所有规则ipvsadm -Ln查看当前规则数字格式ipvsadm -Lcn查看持久连接表ipvsadm-save -n保存规则标准输出九、总结与最佳实践生产环境首选 DR 模式性能最高配置也最复杂需处理 ARP 问题。NAT 模式适合小规模或混合云场景RS 可以私有 IP但 LVS 压力大。调度算法选择长连接服务如数据库 → WLC / LC短连接无状态服务如 HTTP → RR / WRR需要会话保持 → SH源地址哈希或启用持久连接-p高可用LVS 自身需配合 Keepalived 实现主备VRRP否则 LVS 单点故障会导致整个集群不可用。监控建议对 LVS 的ipvsadm -Ln输出、连接数、后端 RS 健康状态进行监控。通过本实验可以完全掌握 LVS 的核心原理和两种主流模式的部署方法为搭建高并发、高可用的 Web 或数据库集群打下坚实基础。