摘要10-17/01 拆了单价、10-17/02 拆了用量本文用「路由」把对的工作发给对的模型收口成本工程闭环。一句话原则问题从不是哪个模型最好而是哪个模型对这件具体工作「足够好且最便宜」。真实流量天然偏斜——多数应用 60–80% 查询很简单抽取/分类/短问答只有 20–40% 需要前沿模型。级联模式先试便宜模型→置信度检查→升级配合可信升级信号schema 校验/logprob/小验证模型可把混合成本较全旗舰降 70–85%而端侧 1–7B 模型把边际推理成本压到近零。本文附开源工具、质量护栏、四步落地与百递云桥路由控制面骨架。一句话结论模型路由是 LLM 工程里的 FinOps——本质是「测量」把工作负载按任务拆开在自有数据上给每类任务定质量门槛再用校准过的置信信号做级联升级小模型扛量、前沿模型做判断、跨家族共识守你输不起的决策。1. 核心思想从「最好」到「最便宜的够用」生产 LLM 系统不是「一个模型」而是一组工作负载这里分类、那里抽取、末尾综合、中间一个判断。把所有活都丢给最大的前沿模型是 LLM 界的「所有查询都跑最大集群」账单会以同样方式崩。成熟模式是路由按任务拆工作负载给每个任务分配「能跨过质量门槛的最便宜模型」把昂贵的调用留给真正需要它的工作。三角形取舍每个路由决策在三个轴上 trade-off很难三头全赢——小模型成本低/延迟低/质量上限够窄任务vs 前沿模型成本高/必远程/质量上限高。洞察是质量需求是「任务形」而非「系统形」。给文档标语言的分类器不需要写高管摘要的那个模型。在自有数据上分别测每类任务的质量门槛路由表自己就写出来了。2. 真实流量偏斜路由能赚钱的前提路由之所以是「剩下的最大杠杆」因为真实流量极不均多数应用60–80%查询很简单抽取、分类、短问答只有20–40%需要前沿模型路由利用这个偏斜便宜模型接简单大块旗舰接困难尾巴。档位真实占比适合模型简单抽取/分类/FAQ60–80%端侧/SLM/Luna 级中等规划/比较/改写15–25%Sol 级困难深度推理/复杂编码5–20%Astra 级3. 级联模式实用默认静态路由提前把任务绑死模型级联按请求动态路由请求 ──► 小模型 ──► 置信度检查 ──► 通过 ──► 完成绝大多数流量 │ 低置信 / 校验失败 ▼ 更大模型 ──► 置信度检查 ──► 通过 │ 仍不确定 / 高利害 ▼ 跨家族共识 ──► 一致接受 └──► 不一致人工评审两个实现细节决定级联成败置信信号必须真实自报置信「给个把握分」校准很弱。优先用「有牙齿」的信号——服务器暴露的 tokenlog-probabilities、多次采样的一致性、或小验证模型拿输入核输出。升级阈值是要评估的参数不是猜的在你知道小模型会错在哪的标注集上定阈值——阈值处「升级成本」与「错误成本」交叉。升级率就是你的成本杠杆20% 升级率下那 80% 走便宜模型的节省是实打实的级联只在被升级请求上多花一次小模型调用相对整体是噪音。4. 升级信号最便宜的往往最好任务最便宜可靠的升级触发为何结构化输出schema 校验畸形输出必升级免费且高可靠抽取抽取值是否在原文逐字出现抓大多数幻觉分类top-2 logit 间距小强不确定信号开放推理廉价小验证模型仅当结构检查真不适用才上因为它吃掉你想省的钱经验能上结构化检查的就别上 LLM judge。judge 调用花掉你本想省下的大部分。5. 跨家族共识守住输不起的决策级联顶端是另一类工具——跨家族共识。高利害判断把同一结构化决策跑过不同家族的模型再比较同家族共享训练血统、共享盲点跨家族不一致才是真正有信息量的不确定性信号。筛查与评审工作流最能体现共识成立→放行共识破裂→记录标人工裁定而非瞎猜。路由表本身也该如此——一条路由靠自有任务上的实测表现挣地位而非模型名气模型阵容一变就要重新论证。6. 2026 开源/托管工具工具类型说明LiteLLM56k star开源代理一个 API 接几十家 路由配置 成本追踪零新设施即可路由OpenRouter托管路由跨多模型带 fallbackMartian / Not Diamond商用路由服务model-as-a-router自定义应用内5 行分类器常够吃下 80/20 场景官方 tier 即路由表OpenAI GPT-6 本身就是三档 tier——Luna$0.10/$0.50扛大规模重复任务Sol$2/$10做复杂编码与研究Astra$10/$50做最难推理。把「按任务选档」写进网关就是现成的路由控制面。# LiteLLM 级联先试便宜模型低置信升级伪代码fromlitellmimportcompletiondefroute(query,task_type):# 1) 确定性路由调用点已知任务类型时直接派发iftask_typein(extract,classify,faq):modelgpt-6-luna# 1/20 价格的平价档else:modelgpt-6.1-solrcompletion(modelmodel,messages[{role:user,content:query}])# 2) 结构化校验作为升级信号免费触发ifnotschema_valid(r.choices[0].message.content):rcompletion(modelgpt-6-astra,messages[{role:user,content:query}])returnr7. 真实省钱数学分流占比模型价格系数简单70%平价1/20 价×0.05困难30%旗舰×1.0混合成本 ≈ 0.7×0.05 0.3×1.0 0.335即较全旗舰降约 66–85%视平价档实际价。即便误路由吃 5–10% 质量税任何量级下经济账都赢。但质量护栏不能省见第 9 节——路由省下的钱可能以「静默质量掉」的方式还回去。8. 四步落地几周可逆转先观测再优化在调用点给每个模型调用打任务类型标签测两周各类型的量与 token 花费。多数团队发现 2–3 类任务占绝大多数花费且至少一类「谁都想不到」。优化错任务类型 4% 节省 一堆失望。先建质量门槛再建路由器对每类高量任务从生产流量组标注集定义「通过」意味着什么——和 eval-driven 开发同纪律只是用在成本决策而非能力决策。测梯子而非单一替代把标注集跑 4–5 个跨尺寸模型含至少一个可自托管的开放权重结果通常是阶跃函数而非平滑曲线——质量稳到某尺寸后骤降。你要的是「悬崖之上刚好一格」的模型且要知道悬崖随每代模型移动。带 flag 在部分流量上发先 5% 单任务类型走级联同输入比对前沿路径的 eval 分与真实产品指标按任务类型而非百分比扩量失败是任务相关的。整个 rollout 几周、一个配置改动可回退。9. 质量护栏路由的失败模式失败模式表现对策静态便宜默认所有活走 SLM难推理/多步规划/模糊客户回复静默降级设质量地板难类必升级代码里写死供应商每服务硬编码模型串财务无法导向支出网关用 class ID 替代模型串级联死循环升级在模型间弹、无停止条件/上限设每运行最大升级次数无门控实验周五改路由权重周一 eval 崩路由变更 gate 在「质量成本」双 delta缓存盲视相同 FAQ/抽取反复打旗舰路径按 workflowinput 键缓存风险误路由法律/医疗/高利害走便宜模型风险类无论预测难度都走旗舰或人工四条铁律① 绝不静默路由路由不出类要有默认② 风险升级法律/医疗/高利害无条件走旗舰或人工③ 跟踪路由准确率定期抽样验证坏路由静默吃质量④ 从简起步长度/关键词/任务类型规则先吃大头训练路由是后优化。10. 端侧 tier没人计价的一层在「最便宜托管端点」之下还有第三层——1–7B 参数模型已能在笔记本、手机、嵌入式硬件跑得可接受预测 2027 年边缘 AI 设备约 25 亿台。对一类工作那层的边际推理成本为零因为算力属于用户呼应 10-13 端侧 SLM/隐私计算。把「能否端侧」作为路由表的最低档是很多团队忽略的最大杠杆。11. 百递云桥路由控制面骨架把路由放进网关控制面呼应 10-16 网关 triple-gate成本可见性接 10-17/02 的 observabilityrouting_control_plane:gateway:litellm# 一个 API 接多 provider 路由 成本追踪tiers:# GPT-6 三档即官方 tier-{class:extract/classify/faq,primary:gpt-6-luna,fallback:gpt-6.1-sol}-{class:plan/compare/rewrite,primary:gpt-6.1-sol,fallback:gpt-6-astra}-{class:deep-reasoning,primary:gpt-6-astra,fallback:gpt-6-astra}-{class:on-device,primary:local-3b,fallback:gpt-6-luna}cascade:draft_first:trueescalate_signal:[schema_check,logprob_margin,verifier]max_escalations_per_run:3consensus:enabled_for:[legal,medical,finance]strategy:cross_familyguards:never_silent:truerisk_classes:[legal,medical,finance]# 无条件走旗舰/人工track_routing_accuracy:truecost_feedback:# 接 10-17/02 指标-cost_per_model_tier-escalation_rate与系列衔接本文收口「成本工程」专题——10-17/01 单价杠杆 10-17/02 用量归因 本文路由三篇把平台从「能上线、能看住、能合规」补上「算得省」。路由表要靠 02 的 cost-per-model-tier 验证「路由决策真生效」触发信号复用 10-15 的可观测性与 10-16 的网关治理。12. 常见问题 FAQQ1路由的核心原则到底是什么A问题从不是哪个模型最好而是哪个模型对这件具体工作「足够好且最便宜」。把工作负载按任务拆开给每类任务定质量门槛再路由到能跨门槛的最便宜模型。Q2为什么路由能省那么多A真实流量 60–80% 很简单只需便宜模型20–40% 才需前沿。70% 走 1/20 价 30% 走旗舰混合成本降约 66–85%误路由的 5–10% 质量税也抵不过经济账。Q3级联的升级信号用什么最可靠A结构化输出用 schema 校验免费且高可靠抽取看抽取值是否原文逐字出现分类看 top-2 logit 间距。LLM judge 最贵仅当结构检查真不适用才上。Q4跨家族共识有什么用A高利害决策跑不同家族模型比较不一致才是真有信息量的不确定信号同家族共享盲点。共识成立放行破裂标人工裁定。用于法律/医疗/金融等输不起的场景。Q5GPT-6 三档怎么当成路由表ALuna$0.10/$0.50扛大规模重复任务Sol$2/$10做复杂编码研究Astra$10/$50做最难推理。把「按任务选档」写进网关即现成路由控制面。Q6LiteLLM 够用吗A多数团队够。56k star一个 API 接几十家 路由配置 成本追踪零新设施即可路由。80/20 场景里应用内 5 行分类器常也够。复杂跨模型 fallback 可加 OpenRouter/Martian。Q7路由有哪些典型失败模式A静态便宜默认难任务静默降级、代码写死供应商财务无法导向、级联死循环无停止条件、无门控实验改权重崩 eval、缓存盲视、风险误路由法律/医疗走便宜模型。Q8如何防止路由静默掉质量A四条铁律——绝不静默路由不出类有默认、风险升级高利害无条件走旗舰/人工、跟踪路由准确率定期抽样验证、从简起步规则先吃大头。Q9端侧模型在路由里什么位置A它是比最便宜托管端点还低的一层1–7B 在笔记本/手机跑、边际成本近零。把「能否端侧」作路由最低档是常被忽略的最大杠杆同时契合隐私与离线场景。Q10多久能落地路由A几周。四步先观测两周各任务量/花费→建每类任务质量门槛→跨尺寸测模型找「悬崖之上一格」→带 flag 在 5% 单任务流量发、按任务类型扩量一个配置可回退。13. 参考资料Zorost Intelligence,Small Models, Big Systems: Routing to the Cheapest Capable Model2026三角取舍、级联、跨家族共识、路由表靠实测挣地位Agent Lingshu (ainomam.com),模型路由 2026把简单查询发给便宜模型LLM 成本降 50–80%2026-08-1160–80% 简单偏斜、LiteLLM 56k star、70%×1/20→降 70–85%、一周落地XYZBytes,Route to the Smallest Model That Clears the Bar: The 2026 Inference Cost Playbook2026CASCADE、升级信号、自托管真实成本、端侧 tier、四步落地Knackline,Cost-aware model routing: SLMs for the 80%, frontier for the 20%2026网关控制面、失败模式、cache blindness、质量地板OpenAI,A model guide for the GPT-6 family, 2026-10-02Luna/Sol/Astra 三档即官方 tier 与定价Zylos Research,AI Agent Cost Optimization: Token Economics and FinOps, 2026-02-19路由 87% 节省、提示缓存 90%本专栏LLM 推理成本结构与降本工程全景 / LLM 成本归因与 Agent FinOps, 2026-10-17本专栏端侧 SLM 与隐私计算, 2026-10-13
