「 红帽 Enterprise Linux 跑在生产上半夜被叫醒多半不是因为它挂了而是某个服务起不来、端口不通、磁盘写满、访问被拦。下面这 6 招是现场排障的高频动作照着敲基本能定位八成问题。 」一、服务起不来先看状态再看日志▲ 架构/流程要点图对照正文服务起不来别急着重启先用systemctl看状态和日志定位卡在哪一步。动作命令说明看状态systemctl status nginx看 Active、主进程、最近报错看日志journalctl -u nginx -n 50 --no-pager拉最近 50 行定位启动失败原因重载配置systemctl daemon-reload改过 unit 文件后必须执行「 常见坑改了/usr/lib/systemd/system/xxx.service不daemon-reload配置根本不生效enable只是开机自启start才是当下启动两个都得有。 」二、端口不通先查监听再查防火墙服务明明跑着外面却连不上八成是监听没起或防火墙没放。ss -ltnp | grep :80 # 看 80 端口有没有在监听、被哪个进程占firewall-cmd --list-ports # 看当前放行了哪些端口firewall-cmd --add-port80/tcp --permanent # 永久放行 80firewall-cmd --reload # 改了 --permanent 必须 reload 才生效「firewall-cmd --add-port不加--permanent重启就丢加上后不--reload当前也不生效两步都别漏。端口被占用用lsof -i :80反查进程。 」三、磁盘写满定位大文件与幽灵占用df报 100% 但du找不到大文件多半是文件被删了但进程还握着句柄。df -h / # 看哪个挂载点满了du -sh /* 2/dev/null | sort -h # 逐层找大目录lsof L1 | grep deleted # 找已删但进程仍占用的文件journalctl --disk-usage # 看 journal 日志占了多少「 日志轮转失败、应用一直写已删文件是幽灵占用的两大来源。处理重启对应进程释放句柄或echo 大日志文件截断别直接rm正在写的文件。 」四、SELinux 拦截服务起来了但访问被拒文件权限都对服务也起来了访问却报 403 / 拒绝十有八九是 SELinux 上下文不对。getenforce # 看当前是 Enforcing 还是 Permissiveausearch -m AVC -ts recent # 查最近的拦截记录AVC 拒绝semanage fcontext -a -t httpd_sys_content_t /web(/.*)? # 给非标准目录打上下文restorecon -Rv /web # 应用上下文「 临时验证可setenforce 0切到 Permissive确认是 SELinux 问题后用semanage fcontextrestorecon修上下文而不是长期关掉它。 」五、时间漂移集群、证书、日志全跟着乱机器时间不对TLS 证书校验失败、日志时间错乱、集群心跳异常都会冒出来。timedatectl # 看系统时间、NTP 同步状态chronyc sources -v # 看时间源是否可达、偏移多少chronyc tracking # 看当前校正情况「 优先用chrony做自动对时别手敲date -s改时间集群节点时间跳变会引发一堆连锁问题。chronyc sources里^*才是已同步的源只看^说明还没锁定。 」六、进程卡死与 OOM内存吃紧的信号服务响应越来越慢甚至被干掉先确认是不是内存不够触发了 OOM Killer。free -h # 看内存与 swap 使用dmesg -T | grep -i oom\|killed # 查有没有进程被 OOM 杀掉journalctl -k | grep -i oom # 内核日志里的 OOM 记录systemctl show nginx -p MemoryMax # 看服务内存上限配置「 频繁 OOM先free -h确认是真不够还是某进程泄漏临时可在 unit 里加MemoryMax限制单服务上限避免一个服务拖垮整机但根治还是查泄漏。 」▲ 一图速查核心要点汇总建议收藏小结红帽生产排障的六步闭环服务起不来查statusjournalctl→ 端口不通查ssfirewall-cmd→ 磁盘满查dfdulsof deleted→ 访问被拒查 SELinux 上下文 → 时间乱查chrony→ 内存吃紧查dmesgOOM。把这六招练熟半夜告警基本能自己收掉。—— 云贝教育顺带一句红帽这套运维真功夫考个 RHCSA / RHCE 这类对口认证对职业加分挺实在有兴趣可以自己了解。
