你有没有经历过这样的时刻线上服务突然 CPU 拉满接口陆续超时打开监控面板一看堆内存已经爬到了顶Full GC 的频率几乎每秒一次。你翻出命令手册想看一眼内存分布却又不敢贸然执行生怕 jmap 一跑就把服务彻底拖垮。我在这个坑里滚过不少次后来慢慢沉淀出一套 JVM 内存监控的打法先理解内存是怎么构成的再掌握一组克制又有效的命令然后搭一套能长期使用的告警体系最后把排查和调优的思路落到参数里。这篇文章会把这套思路从头到尾讲清楚适合正在做 Java 服务维护的开发、运维以及对线上 JVM 内存问题一头雾水的同学参考。1. 先搞清楚JVM内存到底由哪些部分组成很多监控事故的根源是把“JVM内存”简单等同于“堆内存”。实际上 JVM 内存是一个复合体至少有堆内、堆外两个大的维度每个维度下面又有若干子区域。监控的第一步不是看工具而是先把这些区域的名字和它们的生命周期习惯记住。1.1 堆内新生代与老年代的动态平衡堆是被-Xms和-Xmx框起来的那块内存也是绝大多数java.lang.OutOfMemoryError: Java heap space的案发现场。它内部又被分成了新生代和老年代。新生代里通常长这样一块 Eden 区加两块 Survivor 区S0、S1。绝大多数对象刚创建时都住在 EdenEden 快满了就触发 Minor GC把存活对象复制到 Survivor每捱过一次回收年龄就加一超过年龄阈值默认 15或者 Survivor 装不下时对象会晋升到老年代。两块 Survivor 存在的意义是配合复制算法整理碎片让新生代的内存分配保持紧凑。老年代存储的是存活周期很长的对象永远要复用的是典型的住户。老年代一旦满了要回收通常意味着一次 Full GC扫描范围远超新生代停顿时间往往呈数量级上升。监控时我们最需要盯着的是两件事Eden 的新生对象节奏以及老年代的增长斜率。前者让你知道系统的分配压力后者帮你判断是否存在对象长期无法回收的问题。1.2 堆外常常被遗忘的元空间、直接内存与代码缓存堆外区域里最先要认识的是元空间Metaspace。JDK 8 以后方法区被搬到了元空间它不再使用堆内存默认只受本机可用内存限制。频繁创建代理类、生成大量动态类的应用元空间可能以不可控的速度增长最终报出OutOfMemoryError: Metaspace。监控里很多人只盯着堆曲线直到进程崩溃才想起元空间这回事这是非常常见的盲区。直接内存Direct Memory也是容易踩雷的区域。很多高性能框架在处理 IO、文件读写时会用堆外 ByteBuffer 来减少一次拷贝这类内存不受堆大小约束也不在常规 JVM 堆监控范围内由-XX:MaxDirectMemorySize控制上限。它用多了会抛出OutOfMemoryError: Direct buffer memory监控堆曲线看不出任何异常但进程的 RSS 内存已经悄悄涨到吓人的地步。代码缓存CodeCache存放 JIT 编译后的本地代码满了一般不会 OOM但会导致编译退化、性能下降。线程栈则是每个线程独享一块内存默认 1MB 左右线程数量失控时同样会撑爆进程。把堆和堆外都纳入视野监控才算完整。1.3 监控的本质从“总用量”还原“分配与回收”的真实节奏一个朴素的误区是只看“已用内存百分比”。这个指标只告诉你水位不告诉你水流的速度和方向。打个比方你盯着一座仓库光看存货量没用还要看每天进多少货、出多少货、哪些货架的区域明显老化。对应到监控上就是同时观察 Eden 的使用率波动、Survivor 的使用率、每轮 GC 的间隔和耗时、老年代的净增长速度。当 Eden 从 20% 冲到 90% 然后瞬间跌回 10%这代表一次正常的 Minor GC 完成了如果 Eden 长期维持 70% 以上纹丝不动可能新生代给得太小如果老年代曲线呈阶梯式上涨每次批量任务后抬一截那基本就是某类对象被持续积累、无法释放的信号。监控的真正价值在于把这张图组合起来还原出 JVM 内部的真实节奏而不是对着某个红色数字干着急。2. 命令行三板斧jstat与jmap组合出诊有了理论框架下一步是手头的工具。线上排查时我不推荐一上来就打开一堆可视化工具命令行足够快速关键是你要知道每个命令在什么场景下用、输出的每一列代表什么。2.1 jstat -gcutil看GC频率和耗时的第一站jstat是 JDK 自带的轻量级监控命令开销极小在流量高峰也能放心地跑。最常用的是jstat -gcutil 28341 1000 10含义是对进程 28341 每 1000 毫秒采样一次连续输出 10 行。输出的列大致如下列含义S0 / S1两个 Survivor 区的使用百分比EEden 区使用百分比O老年代使用百分比M / CCS元空间和压缩类空间使用百分比YGC / YGCTYoung GC 次数与累计耗时FGC / FGCTFull GC 次数与累计耗时我拿到这个输出后第一眼看 S0 和 S1 的交替规律再看 Eden 是否反复涨跌最后看 FGC 的增量间隔。如果 YGC 非常频繁、每次耗时还不短可能新生代太小如果 FGC 两三次就把老年代打回原形回收后很快又满就要怀疑是否有对象长期被引用。灵活地连续执行这个命令相当于给 JVM 做了一次无创体检。2.2 jmap与jcmd关键时刻的堆转储与存活分布当告警已经拉响GC 频率居高不下就需要看一眼堆里的对象构成。jmap -heap能输出堆配置和各代当前容量jmap -heap 28341但要注意在较新版本的 JDK 上jmap -heap的部分选项已经被移除更推荐用jcmd。我现在的习惯是以jcmd为主jcmd 28341 GC.heap_info jcmd 28341 GC.class_histogram jcmd 28341 GC.heap_dump /data/dump/heap.hprofGC.class_histogram会输出类级别的对象实例数量和占用字节数适合快速判断是不是某个业务类异常膨胀。GC.heap_dump则生成一份完整的堆转储文件后续交给堆分析工具做深挖。我用到的命令入口不同但核心思路一致先看分布再决定是否 dump。2.3 什么时候能放心执行什么时候该忍手这是一个非常重要的经验问题。jmap -histo:live带 live 参数时会先强制触发一次 Full GC 再统计存活对象这在繁忙服务上有可能带来附加停顿同理某些版本的jmap -dump若指定 live 也会先 GC。所以高峰流量期间能忍则忍优先使用不带 live 的参数或者jcmd GC.class_histogram。另外dump 本身要复制整个堆小则几百 MB大则几 GB写入文件期间必然伴随明显卡顿因此我建议在确认峰值后、业务低峰窗口再执行或者至少先评估磁盘剩余空间。在我自己的服务器上永久保留了一条提醒堆 dump 前先df -h再确认磁盘能放下至少 1.2 倍堆大小的文件否则转储到一半失败只会雪上加霜。3. 长期监控落地从指标采集到告警阈值命令行再好也救不了疲劳盯盘的场景监控平台才是常态化手段。一套能长期跑的 JVM 监控体系核心是解决三件事指标怎么采出来、存哪里、报警什么才算数。3.1 指标采集的链路JMX到时序库JVM 提供的 JMX 接口几乎覆盖了所有关键指标常见做法是通过 Java agent 把 JMX 指标转换为时序采集端口再由时序数据库定时抓取。启动参数大致是这样java -javaagent:jmx_exporter.jar10001:/etc/jmx_exporter.yaml -jar app.jar其中规则文件里声明要采集哪些指标比如堆内各代的使用量、GC 次数与耗时、线程数、类加载数量。一个成熟的监控项目还需要把进程的 RSS、CPU、网络等宿主机指标一起采进来因为 JVM 指标有时候会掩盖操作系统层面的问题。采集到的数据最终落在时序库里再用可视化看板拼装成大盘。这里我特别想强调不要让 JVM 指标裸奔到公网JMX 和采集端口都应该限制在内部网络只允许监控网段访问。3.2 告警规则不拍脑袋哪些指标真正值得报警告警这件事最容易走极端要么不配要么乱配。围绕 JVM 内存我沉淀下来的经验是分层设计级别触发条件动作warning老年代使用率连续 10 分钟超过 90%且未明显回落观察大盘准备排查warning单次 Full GC 耗时超过 300ms且短时间内重复发生查看 GC 日志critical近 5 分钟 Full GC 次数超过 5 次立刻介入必要时 dumpcritical堆使用率刷新历史高位伴随接口超时比例上升启动应急预案阈值不能机械套用。一个每天只在凌晨跑一批报表的系统晚上 Full GC 一次完全正常一个高并发的在线交易服务白天出现一次几百毫秒的 Full GC 都可能引发雪崩。所以报警规则要基于业务类型做基准线调整宁可少而准不要让组员习惯性地忽略告警。3.3 可视化大盘上我常盯的四个视图看板不需要炫技够清楚就行。我常用的布局是四个视图第一块放堆内各代使用率曲线老年代和 Eden 分开画方便观察节奏第二块放 GC 次数和耗时用柱状图按时间聚合第三块放元空间和直接内存的使用量第四块放进程级 RSS 内存、CPU 和线程数。四块图拼起来从左到右从上到下恰好是一条因果链业务请求来了分配压力变大GC 回收跟不上进程资源吃紧。真正出故障时目光一秒就能定位到是哪一环先崩的。4. 从监控到止血一次典型OOM的完整排查链路理论讲完聊一个我实际处理过的比较有代表性的例子。某个负责报表导出的服务每过几个小时内存就往上抬一截呈很规律的阶梯曲线重启后恢复过两天又回到高位最终在某次导出高峰期抛出OutOfMemoryError: Java heap space。4.1 收到告警流量没涨内存为什么爬坡先看监控大盘YGC 频率在正常范围但老年代使用率每三小时上升约 10%从未有像样的下降趋势。用jstat -gcutil连续采样确认FGC 虽然不频繁但每次回收后老年代只能回落到 90% 附近的平台实际上等于“回收了个寂寞”。这说明老年代里有一堆存活对象是没必要的只是暂时被引用着GC 动不了它们。4.2 抓现场class直方图与堆转储接下来我执行了jcmd 28341 GC.class_histogram发现排名靠前的是一批字节数组和报表数据模型对象实例数明显超出正常范围。然后选在业务低峰期执行jcmd 28341 GC.heap_dump /data/dump/export.hprof用堆分析工具的 Dominator Tree支配树打开转储文件一层层往下看很快就定位到一个静态 Map 结构报表查询的结果被塞进了这个 Map 作为“缓存”但缓存没有任何淘汰机制也没有过期时间每次导出新报表旧对象就永远留在里面。Dominator Tree 的价值就在这里它直接告诉你哪个对象是“根”哪些对象是“枝叶”从根下手就能找到泄漏源头。4.3 修复与验证缓存设计问题修复方案并不复杂去掉这个静态 Map改为按需查询、用完即弃或者引入带容量上限、支持 LRU 淘汰的缓存实现。修改后观察了一周老年代曲线平稳阶梯现象消失FGC 次数下降了一个量级。这个案例给我的启发是内存泄漏很多时候不是框架底层出问题而是代码里某些“看似无害的静态集合”在默默积累对象。监控报警只是告诉你身体出问题了真正治病还得靠堆分析倒推代码。4.4 复盘监控指标与业务动作如何呼应复盘时我会把监控事件和业务发版、定时任务时间轴放在一起对比。这次 OOM 之所以阶梯式上涨是因为导出任务每三小时启动一次每次塞一批结果进缓存——如果当时告警规则能结合“老年代持续增长趋势”而不只是“当前水位”我们本可以在第一天就发现异常而不是等到两周后任务高峰彻底爆掉。所以内存监控除了常规水位线我还建议加一条“趋势斜率”类规则老年代在 2 小时内净增长超过 20%且没有对应的大对象创建任务就应当提前介入。5. 启动参数与容量规划让监控少报假警监控做得再完善如果 JVM 启动参数本身不合理报警也会频繁误报。参数调优不是堆越大越好核心思路是稳定、可控、留有余地。5.1 参数设计的核心思路稳定与可控我常见的启动参数模板如下java -Xms4g -Xmx4g -XX:MaxMetaspaceSize512m -XX:MaxDirectMemorySize1g \ -XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/data/dumps \ -Xlog:gc* -jar app.jar-Xms和-Xmx设为相同值避免 JVM 运行期动态扩容让堆大小稳定GC 行为更可预测。元空间和直接内存都要显式上限防止它们悄悄占满宿主机内存。开启 OOM 自动转储并指定转储目录是线上的保命配置。GC 日志这里用的是 JDK 9 的-Xlog:gc*写法如果是 JDK 8需要用-XX:PrintGCDetails -XX:PrintGCDateStamps来开启这直接决定了事后的回溯能力。5.2 容量估算的一个实用方式堆大小最怕拍脑袋。我通常借助一次低峰期的 dump 来估算“活跃对象基线”也就是波动过后留在老年代的那部分对象总量。一个粗略的经验是堆的大小取活跃对象总量的 2 到 4 倍再给外部系统缓冲留出空间。假设你的服务平稳状态下老年代活跃对象约 1.5GB新生代峰值分配压力较高堆给 4GB 是合理起点同时容器内存若只有 8GB还要给线程栈、元空间、直接内存、操作系统文件缓存留出至少 2GB否则 JVM 自己没满容器先被系统 OOM Killer 盯上了。5.3 容器环境里必须注意的开关现在的服务大多跑在容器里有一个历史坑特别值得提早期 JDK 版本默认读不到容器 CPU 和内存限制导致 JVM 基于宿主机全部内存做容量判断容器限额成了摆设。JDK 8u191 之后默认开启容器感知但旧版本需要显式加-XX:UseContainerSupport。如果你还在维护老 JDK一定要确认这一项否则监控显示的堆使用率一切正常进程却经常被操作系统莫名其妙地杀掉那多半就是容器限制和 JVM 视野脱节。6. 实测中踩过的几个坑与个人经验沉淀最后把我在 JVM 内存监控上踩过的一些坑集中写出来有些是靠文档很难提前避开的。第一个坑是执行jmap -histo:live时没有意识到它会先触发一次 Full GC。某次线上服务 GC 已经比较频繁我为了看对象直方图加上了 live 参数结果 Full GC 叠加在业务高峰上直接把服务卡顿放大了好几倍。从那以后能不带 live 就不用首选jcmd GC.class_histogram。第二个坑是堆转储磁盘空间不足。曾经一个 8GB 堆的服务我在没有检查磁盘的情况下执行 dump文件写到一半磁盘满了进程几乎卡死。现在我的工作习惯是任何 dump 之前先检查磁盘余量并且把 dump 落在独立挂载盘避免和日志盘互相挤占。第三个坑是只看堆水位、不看分配速率。有段时间监控面板上 YGC 非常频繁但我一直盯着老年代是否上涨忽略了 Eden 容量过小导致对象被迫提前晋升的现象。调大新生代之后FGC 少了整条曲线都安静了。这给我的感知是监控要看“节奏”不能只看“水位”Eden 的使用率脉冲频率和 Survivor 的使用情况往往比老年代最终水位更早暴露问题。第四个坑是告警疲劳。团队早期把“堆使用率超过 90% 持续 5 分钟”就设成高优先级告警结果大盘相对平稳也被轰炸真正出大故障时有人反应变慢。后来我把告警改成“高水位 增长趋势 GC 耗时”三个条件同时满足才触发准确率高了一大截。监控是给人用的合理降噪和指标设计本身一样重要。第五个容易被忽略的问题是堆外内存。曾经排查过一例进程 RSS 不断上涨、堆曲线却很平缓的服务最后定位到是某个 IO 框架使用了大量直接内存而当时的监控面板根本没有直接内存指标。如果监控体系里不包含堆外很多诡异的内存问题会像盲人摸象一样难以定位。自己在实际维护中的体会是JVM 内存监控更像是一场长期的信息建设不在于部署多少高深的系统而在于你是否理解每个数字背后的语义并且保证关键时刻手里有充分的证据链——GC 日志、堆转储、历史趋势三者缺一不可。建议每个服务上线前就把 GC 日志打开、把 OOM dump 配好记住某个时间段的老年代基线再把这些基础知识沉淀成团队内部的排查手册。等真正遇到内存异常时你会发现能救你的是这些基础动作做得有多扎实。
