1. IT疑难杂症的本质与解决思路IT系统运行过程中出现的各类疑难杂症往往源于技术栈各层级的异常耦合。这些问题的典型特征包括现象难以稳定复现、报错信息模糊、常规排查手段失效。根据我十五年的运维经验80%的所谓疑难问题都可以通过系统化的排查方法快速定位。这类问题通常涉及以下几个技术层面网络层TCP重传、DNS解析异常、MTU不匹配系统层文件描述符泄漏、inode耗尽、内核参数不当应用层内存泄漏、线程阻塞、第三方库版本冲突数据层字符集不一致、事务隔离级别设置错误2. 30秒快速诊断方法论2.1 网络类问题速查当遇到网络连通性问题时按此顺序执行# 1. 基础连通性测试3秒 ping -c 3 target_host # 2. 端口可用性检查5秒 nc -zv target_host port # 3. 路由追踪7秒 traceroute -n target_host # 4. DNS解析验证3秒 dig short target_domain典型问题特征与解决方案出现Name or service not known → 检查/etc/resolv.conf配置TCP连接超时 → 用ss -ant检查SYN_SENT状态计数间歇性连接重置 → 用ethtool -k检查TSO/GRO设置2.2 系统资源类问题速查# 1. 综合资源概览2秒 top -bn1 | head -5 # 2. 磁盘空间检查3秒 df -h | grep -v tmpfs # 3. 内存泄漏检测5秒 vmstat -SM 1 5 # 4. 进程资源占用5秒 ps -eo pid,ppid,cmd,%mem,%cpu --sort-%mem | head常见异常处理僵尸进程堆积 → 检查父进程的SIGCHLD信号处理磁盘空间不足但df显示有剩余 → 用lsof L1查找被删除但仍占用的文件CPU软中断过高 →cat /proc/softirqs确认中断类型3. 应用层问题精准定位3.1 Java应用问题速查# 1. 线程堆栈采样8秒 jstack -l pid thread_dump.log # 2. 堆内存分析10秒 jmap -histo:live pid | head -20 # 3. GC状态检查5秒 jstat -gcutil pid 1000 3关键分析技巧发现BLOCKED状态线程 → 检查synchronized锁竞争频繁Full GC → 用-XX:PrintGCDetails分析GC日志CPU占用高但线程少 → 使用perf工具采样热点方法3.2 Web服务问题速查# 1. 连接状态统计5秒 ss -antp | awk {print $1} | sort | uniq -c # 2. 请求耗时分析10秒 curl -so /dev/null -w dns:%{time_namelookup} connect:%{time_connect} total:%{time_total}\n http://example.com # 3. TLS握手检查8秒 openssl s_client -connect example.com:443 -tlsextdebug -status典型问题处理大量TIME_WAIT → 调整net.ipv4.tcp_tw_reuse参数SSL握手失败 → 检查证书链完整性接口响应慢 → 用tcpdump -nn -i eth0 port 80抓包分析4. 数据库问题快速处置4.1 MySQL问题速查-- 1. 连接数检查3秒 SHOW STATUS LIKE Threads_connected; -- 2. 慢查询检测5秒 SELECT * FROM mysql.slow_log ORDER BY start_time DESC LIMIT 3; -- 3. 锁等待分析8秒 SELECT * FROM sys.innodb_lock_waits;紧急处理方案连接数爆满 → 快速KILL空闲连接出现死锁 → 分析SHOW ENGINE INNODB STATUS输出主从延迟 → 检查Seconds_Behind_Master状态4.2 Redis问题速查# 1. 内存使用分析5秒 redis-cli info memory | grep used_memory_human # 2. 慢查询检查3秒 redis-cli slowlog get 3 # 3. 连接数统计2秒 redis-cli info clients | grep connected_clients典型问题处理内存不足 → 分析MEMORY USAGE找出大key响应变慢 → 检查redis-cli --latency网络延迟AOF阻塞 → 调整appendfsync为everysec5. 进阶诊断工具包5.1 性能分析工具速查# 1. 系统调用追踪10秒 strace -p pid -c -f -T # 2. 动态函数追踪15秒 perf top -p pid # 3. 文件打开监控8秒 lsof -p pid | grep -v mem\|cwd5.2 日志分析技巧# 1. 关键错误提取5秒 grep -E ERROR|CRITICAL /var/log/app.log | tail -20 # 2. 时间范围查询8秒 sed -n /2023-07-01 14:00/,/2023-07-01 15:00/p /var/log/app.log # 3. 日志特征统计10秒 awk {print $5} /var/log/nginx/access.log | sort | uniq -c | sort -nr6. 典型问题处理实录6.1 案例K8s节点NotReady问题处理步骤检查kubelet状态systemctl status kubelet3秒查看容器运行时crictl ps -a5秒验证网络插件ip route show3秒检查磁盘压力df -h /var/lib/docker2秒6.2 案例ES集群RED状态应急处理分片状态检查_cat/shards?v3秒节点磁盘检查_cat/allocation?v5秒临时关闭分片分配PUT _cluster/settings {transient:{cluster.routing.allocation.enable:none}}8秒7. 预防性维护建议建立定期检查清单# 每日检查项耗时2分钟 check_list( df -h free -m netstat -s | grep -E retrans|timeout dmesg -T | tail -10 ) for cmd in ${check_list[]}; do echo $cmd ; eval $cmd; done关键指标监控阈值建议CPU负载超过核数2倍持续5分钟告警内存使用90%持续10分钟告警磁盘空间/分区85%立即告警TCP重传率1%需要关注
