做 Web 开发这些年踩过不少运维方面的坑。最难受的一次是网站凌晨挂了两个多小时早上起来才发现。期间用户访问过了搜索引擎蜘蛛也来抓取过了看到的是错误页面。事后查日志问题出在数据库连接池满了导致服务无法响应。但更让人反思的是为什么两个小时里没有任何人知道这件事。后来我开始认真研究网站实时监测服务这件事。不是为了买一套昂贵的监控系统而是想用手里现有的资源搭一套真正能跑起来、能发现问题、能减少误报的监测方案。今天把这套方案的设计思路和实现细节整理出来给有类似需求的开发者做个参考。一、网站实时监测服务到底要监测什么很多人对监测的理解还停留在 PING 服务器。PING 通了就认为一切正常。这个判断有三个明显的盲区。Web 服务状态。PING 只能证明网络层是通的不能证明 HTTP 服务正常响应。服务器负载过高时TCP 连接可能建立但 HTTP 请求会超时或返回 5xx。页面内容。服务器返回200页面能渲染不代表内容没被篡改。标题被替换、页面被注入脚本、移动端被重定向这些情况下“打开正常”是成立的但“内容正常”不成立。响应时间的变化趋势。网站能打开但响应时间从200ms变成5秒用户体验已经严重下降而单纯的可用性监测发现不了这个问题。一个实用的网站实时监测服务至少要覆盖三个维度HTTP 可用性、页面标题一致性、响应时间基线。这三个维度能捕捉到日常运维中大部分突发异常。二、传统监控方案的成本分析常见的监控方案有三种各有各的问题。PING加端口探测是最轻量的方式部署简单资源消耗低。但它只能覆盖网络层Web服务内部的状态变化完全感知不到。适合作为辅助手段不适合作为主要监测方案。开源监控系统功能全面支持多节点、多种协议、可视化面板。但部署需要独立的服务器和数据库维护成本不低。如果监控系统和被监控的网站部署在同一台服务器上服务器一挂监控也跟着失联监测本身失去了意义。云监控服务省去了部署和维护按量付费或包月。但免费额度通常有限站点数量多了成本就上去了。而且需要把网站地址和监控配置上传到第三方平台对于注重数据本地化的开发者来说不太合适。三、我的方案设计思路最终我选择了一套轻量化的本地方案用一台不常用的Windows机器作为监测节点运行一个类似80KM网站监控的工具按设定间隔轮询目标站点记录HTTP状态码、响应时间和页面标题。工具本身不依赖数据库配置和日志以本地文件形式存储。可用性监测的逻辑是设置连续失败阈值比如连续三次请求失败才触发告警。这样可以过滤掉本地网络抖动或目标服务器瞬时波动造成的误报。触发告警后工具在系统托盘弹出通知并循环播放声音提醒。当目标站点恢复后告警自动撤销声音停止不需要人工干预。标题一致性监测是这套方案比较有特色的部分。工具会记录目标页面的标题基线每次轮询时对比当前标题与基线是否一致。如果连续多次不一致触发告警。这个机制能发现页面被篡改、被注入广告代码、被挂马等情况。对于没有专业安全团队的小型站点来说这种轻量级的完整性校验非常实用。工具内置了PING和路由追踪功能在排查问题时可以直接调用。当站点无法访问时先跑一下路由追踪很快就能判断是本地网络出口的问题还是目标服务器所在链路的问题。这个判断过程如果靠手动敲命令效率会低很多。这套方案还支持多节点分布式部署。一个安装包分发给团队成员的电脑各自负责监测不同的站点通过开机自启和自动升级保持一致性。对于维护多个站点的团队来说分布式的监测节点比单点监控更可靠因为一个节点的网络故障不会导致所有监测同时失效。四、几个影响监测质量的关键参数监测频率的设置需要在及时性和资源消耗之间平衡。五分钟一次是比较合理的默认值既能及时发现故障又不会给目标服务器造成明显的额外请求压力。如果站点对可用性要求极高可以临时调整为更短的间隔。告警阈值决定了误报率。连续三次失败才告警是一个经过实践验证的参数。一次失败可能是网络瞬时抖动两次失败可能是目标服务器短暂重启三次失败基本可以确认存在问题。通知方式需要分场景配置。开发者在电脑前工作时弹窗加声音最直接。经常外出时邮件通知作为补充更实用。两种方式都配置上覆盖不同场景。监测节点的网络位置很关键。如果监测节点和被监测的服务器在同一个内网环境一旦外网出口故障监测节点本身也受到影响无法发出告警。把监测节点放在不同的网络环境中才能起到外部视角的作用。五、工具是眼睛处理靠经验监测工具能发现问题但解决问题还得靠人的判断。收到告警后先判断是本地网络问题还是目标服务问题。本地网络问题可以暂时忽略目标服务问题需要进一步排查。如果是HTTP不可达检查服务器负载、Web服务进程状态、数据库连接。如果是标题不一致检查是否有缓存问题、是否有内容被篡改、CDN节点是否返回了异常版本。如果是响应时间异常检查慢查询日志、外部依赖调用、服务器资源使用率。做了这几年开发越来越体会到运维这件事防大于治。花十几分钟配好一套网站实时监测服务换来的是对系统状态的持续感知能力。不用半夜担心服务器是否还活着不用担心用户投诉了才知道服务异常。网站实时监测服务不是大公司的专利个人开发者和小团队同样需要也完全做得到。用好手边的闲置设备把基础监测跑起来很多问题在变成事故之前就能被拦截。
