1. LVS负载均衡实验从零构建高可用Linux虚拟服务器集群刚接触服务器架构时总被负载均衡这个专业术语吓到。直到亲手用LVS搭建了一套电商秒杀系统才发现这套诞生于1998年的技术至今仍是互联网基石。本文将用真实生产环境配置为例带你穿透那些晦涩的理论直击LVS最核心的DR模式实战。不同于教科书式的概念堆砌我会重点分享三个关键问题的解决方案如何避免ARP混乱为什么TCP三次握手必须由Real Server完成以及如何用ipvsadm命令实现动态权重调整2. LVS核心架构解析2.1 三种工作模式对比在机房实测对比过NAT、TUN和DR模式后我最终选择DRDirect Routing作为生产方案。这个决策基于以下实测数据模式类型吞吐量(Gbps)CPU负载(%)配置复杂度适用场景NAT1.245中等小型企业出口网关TUN5.838高跨机房集群DR9.422低同机房高并发DR模式的优势在于数据包返回不经过Director这使我们的视频流服务吞吐量提升了7倍。但要注意一个关键细节必须在Real Server上配置VIP的loopback接口否则会导致ARP广播风暴。具体配置如下# 在每台Real Server执行 ifconfig lo:0 $VIP netmask 255.255.255.255 up route add -host $VIP dev lo:02.2 调度算法选择策略在双十一大促期间我们通过动态调整调度算法应对不同流量特征轮询(rr)默认算法适合各服务器性能相近时使用加权最小连接(wlc)当前生产环境主力算法配合健康检查脚本目标地址哈希(dh)解决session保持问题但会导致热点问题实测发现一个反直觉的现象当并发连接数超过5万时简单的轮询算法反而比复杂算法更稳定。这是因为计算连接差异的CPU开销会导致调度延迟。建议通过以下命令动态切换ipvsadm -E -t $VIP:80 -s wlc # 平时使用加权最小连接 ipvsadm -E -t $VIP:80 -s rr # 大流量时切换轮询3. 生产级LVS-DR集群搭建3.1 环境准备避坑指南我们的实验环境包含Director: Dell R740(128G内存, 双万兆网卡)Real Server ×3: 华为2288H V5VIP: 192.168.1.100最容易出错的网卡配置环节需要特别注意两点关闭所有节点的ARP响应echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 /proc/sys/net/ipv4/conf/all/arp_announceDirector网卡需要禁用TSO/GSO大数据包分片ethtool -K eth0 tso off gso off血泪教训曾因忘记关闭TSO导致HTTP大文件传输时出现TCP校验和错误丢包率高达15%3.2 核心配置步骤Director节点安装ipvsadmyum install ipvsadm -y modprobe ip_vs添加虚拟服务以HTTP为例ipvsadm -A -t 192.168.1.100:80 -s wlc ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.101:80 -g -w 3 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.102:80 -g -w 2 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.103:80 -g -w 1实时监控命令watch -n 1 ipvsadm -ln --stats4. 高级调优与故障排查4.1 性能优化参数在/etc/sysctl.conf中添加这些关键参数使我们的QPS从8k提升到23knet.ipv4.tcp_tw_recycle 1 net.ipv4.tcp_tw_reuse 1 net.ipv4.ip_local_port_range 1024 65000 net.ipv4.tcp_max_syn_backlog 8192 net.core.somaxconn 327684.2 常见故障诊断症状客户端频繁连接超时检查ipvsadm -lnc查看连接状态典型问题SYN_RECV状态堆积解决调整net.ipv4.tcp_synack_retries3症状部分Real Server无流量检查tcpdump -i eth0 host $VIP典型问题ARP响应异常解决确认所有节点arp_ignore/arp_announce设置症状负载不均检查ipvsadm -ln --stats典型问题权重设置不合理解决动态调整权重ipvsadm -e -t $VIP:80 -r $RIP -g -w 55. 与Nginx负载均衡的对比实践在相同硬件环境下对比测试结果指标LVS-DRNginx最大连接数50万8万CPU消耗(10万QPS)12%65%延迟(p99)23ms47ms配置复杂度高低建议组合方案LVS作为四层负载均衡后接Nginx做七层处理。这种架构支撑了我们日均10亿PV的电商业务。关键配置点是调整Nginx的reuseport参数server { listen 80 reuseport; ... }6. 动态权重调整实战通过脚本实现基于CPU负载的自动权重调整#!/bin/bash while true; do for RIP in 192.168.1.{101..103}; do CPU$(ssh $RIP grep cpu /proc/stat | awk {usage(\$2\$4)*100/(\$2\$4\$5)} END {print usage}) WEIGHT$(echo 10 - $CPU / 10 | bc) ipvsadm -e -t 192.168.1.100:80 -r $RIP -g -w $WEIGHT done sleep 30 done这个脚本使我们在618大促期间成功将过载服务器的流量自动迁移避免了服务雪崩。
