✍️作者：王文峰（外号：神秘小峯 / 山峯）｜中国国学、传统文化与代码爱好者的程序人生，期待你的关注和支持！AI 应用七道硬核题（二）：缓存、限流、路由与降级一、七题全景：AI 应用的稳定性拼图二、硬核题 1：长上下文工程——窗口很大，但不是免费的1. 原理：三个被低估的事实2. 上下文分层预算（核心方法论）3. 滚动摘要压缩（Java 实现）三、硬核题 2：三级缓存——语义/前缀/结果，三兄弟各管一段1. 三级缓存体系2. 语义缓存实现要点（Java）3. 前缀缓存（了解即可，收益巨大）四、硬核题 3：并发与限流——保护下游，也保护自己1. 为什么 AI 服务必须限流2. 限流三件套 + 背压五、硬核题 4：模型路由——让 80% 的简单请求走便宜的路1. 原理：请求难度是长尾分布的2. 分级 + 升级（escalation）策略六、硬核题 5：降级与容错——挂了怎么办，才是真上线1. 容错五板斧（按出手顺序）2. Java 实现（Resilience4j 全家桶）七、硬核题 6（拓展）：成本计量与可观测——不做烧钱黑洞1. token 记账：每分钱要有归属2. 可观测四支柱八、硬核题 7（拓展）：容量规划与压测——先估容量再上线1. 容量估算公式（面试可直接套）2. 压测找"排队拐点"九、七题速查表（贴墙版）十、总结与自测清单🎯 学习教程（传送门）🔥 往期文章📚 上一篇《七道硬核题（一）》讲了 RAG、SSE、vLLM 这些"效果与原理"，这篇接稳定性：一个 AI 应用 demo 跑通只完成了 20%，剩下 80% 是"高峰期扛不扛得住、成本烧不烧得起、挂了怎么办"。七个问题：长上下文工程、三级缓存、并发限流、模型路由、降级容错、成本计量、容量压测——前四个是你点的题，后三个是我补的工程必备件。每题依旧是「原理 → 优化 → 代码 → 一句话」。一、七题全景：AI 应用的稳定性拼图① 长上下文工程 窗口有限，怎么塞下无限的对话 ② 三级缓存 语义/前缀/结果，省钱提速三兄弟 ③ 并发限流
