【免费下载链接】otariOpen-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40 providers, with virtual keys, budgets, and usage tracking.项目地址https://gitcode.com/gh_mirrors/ot/otari点击查看免费下载otariOtari是一个开源的 OpenAI 兼容 LLM 网关它的**路由策略routing policy**允许你用一个名字代表多个真实模型实现加权分流、故障切换与智能选择。本文将带你完整掌握 otari 的三类高级路由加权路由weighted、优先级溢出路由priority和学习路由knn并给出可直接落地的配置与排查方法。otari 路由策略是什么otari 把「调用方看到的模型名」和「真正干活的模型」解耦。你在config.yml的routing.policies下定义一条策略客户端只要发送model: fastotari 就会决定这次请求实际发给哪个供应商的哪个模型。策略由两条轴组成select决定请求从哪里开始支持条件判断与路由器后端on_failure候选失败后的兜底链按顺序逐个尝试下图展示了 otari 在整体架构中的位置应用通过标准 OpenAI/Anthropic SDK 接入由网关统一鉴权、计费、路由到 40 供应商。 官方文档docs/routing.md 配置模板参考config.example.yml加权路由按比例在多个模型间分流加权路由router: weighted对每个请求独立抽签按配置权重归一化后选择候选适合多供应商负载均衡或成本分摊routing: policies: balanced: select: - router: weighted candidates: - openai:gpt-5 - anthropic:claude-sonnet-4-6 weights: openai:gpt-5: 7 anthropic:claude-sonnet-4-6: 3 - default: openai:gpt-5 on_failure: - gemini:gemini-2.5-flash关键行为7:3和70:30等价权重会被自动归一化某个候选不写入 weights 时权重为 0但保留在失败链中——这是排水式下线某供应商的标准做法每个请求都是独立抽签没有会话粘性选中候选失败后会继续尝试剩余加权池最后才走on_failure条件选择与速率溢出按需挑模型基于预算的条件选择select支持按请求上下文挑选目标例如预算快用尽时自动降级到便宜模型thrifty: select: - when: budget_used_pct: {gte: 80} target: openai:gpt-5-nano - default: openai:gpt-5-mini支持的when条件有budget_used_pct、budget_remaining_usd、user_id、key_id同一块内的所有条件必须同时满足default条目必须放在最后。速率限制溢出priority优先级路由保持候选书写顺序请求总是发给限流额度还有余量的第一个模型用满的候选会被直接跳过不发起调用流量溢出给下一个summarize: select: - router: priority candidates: - vertex:gemini-2.5-flash # 每分钟最多接 100 个请求 - together:llama-3.3-70b # 承接剩余流量 - default: together:llama-3.3-70b被跳过的候选会显示在 Activity 路由计划里标记为 skipped 并注明是哪条限流规则满了Prometheus 可用gateway_rate_limit_model_full{rule, model}计数。学习路由knn让网关越用越懂你knn 路由器是 otari 的智能选择能力。它为每个用户的流量做最近邻投票把请求向量化在该用户已打分的样例库中找出最相似的 k 条记录用公式score(m) 平均质量 - alpha × 归一化成本为每个候选打分选出够好且最便宜的模型routing: policies: smart: select: - router: knn candidates: - openai:gpt-5-nano - openai:gpt-5 - default: openai:gpt-5 on_failure: - anthropic:claude-haiku-4-5使用学习路由的几个要点每个候选都必须配置价格路由器靠成本做权衡学习记忆按用户 工作区隔离可用task_id进一步分区它不会从线上流量自动学习而是通过POST /api/v1/routing/preferences/rank提交提示词 每个候选 0~1 分来喂养样例池不够暖默认 20 条预热、或置信度不足时路由器会放弃决策、直接走default因此学习路由永远不比普通故障切换策略更差每请求控制头Otari-Router: off跳过学习选择Otari-Router-Task指定任务分区可调部署参数router_k默认 5、router_alpha、router_confidence_floor、router_granularity等想快速体验可以直接跑仓库里自带的可运行演示脚本scripts/seed_routing_demo.py它会创建覆盖各种形态的策略、给学习路由喂样例并灌入流量填充 Activity 页面。如何排查路由决策explain 命令不用真的调用供应商就能干跑一条策略查看有序候选、被过滤的候选及原因、有效权重份额otari routing explain fast otari routing explain thrifty --budget-used-pct 85 otari routing explain balanced --allowed-model anthropic:*API 等价物是POST /api/v1/routing/policies/explain还能校验未保存的草稿。配置策略的源码逻辑在 src/gateway/models/routing.pyknn 后端实现在 src/gateway/services/routing/knn.py加权后端在 src/gateway/services/routing/weighted.py。计费、可观测性与硬性规则计费看真实模型响应名保持策略名。每次成功响应的头里都带路由信息方便你自建监控响应头含义Otari-Provider实际服务的供应实例名Otari-Model供应商侧真实模型名Otari-Attempt-Count请求实际发给了几个候选Otari-Fallback是否发生了兜底切换失败兜底前每次未成功的尝试会记一条absorbed用量行不计成本、不计请求数所有尝试共享同一个request_group_id。需要注意的硬性限制一条策略最多5 个候选含路由池与on_failure目标必须是具体供应商/实例策略与别名不能链式嵌套策略名不能包含:或/调用方的模型白名单会先过滤候选再归一化权重兜底只在响应字节到达客户端之前生效流式输出开始后失败会直接返回避免中途换模型弄乱响应总结otari 的路由体系覆盖了从简单到智能的完整光谱加权路由做多供应商流量分摊条件选择 priority 溢出实现成本与容量治理knn 学习路由让网关按用户偏好持续优化模型选择。配合otari routing explain干跑排查和Otari-*响应头观测你可以在不改业务代码的前提下把用哪个模型变成一个可运营、可度量的网关策略。完整文档docs/routing.md演示脚本scripts/seed_routing_demo.py策略数据模型src/gateway/models/routing.py赞分享【免费下载链接】otariOpen-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40 providers, with virtual keys, budgets, and usage tracking.项目地址https://gitcode.com/gh_mirrors/ot/otari点击查看免费下载相关推荐ARouter路由优先级与权重复杂场景的路由选择ARouter路由优先级与权重复杂场景的路由选择 在大型Android应用App组件化架构中路由框架Router Framework扮演着连接不同模移动开发原生移动路由依赖注入注解处理器Hanami路由系统深度解析高性能HTTP路由实践Hanami路由系统深度解析高性能HTTP路由实践 Hanami框架的路由系统提供了简洁而强大的HTTP路由功能让开发者能够轻松构建高性能的Web应用。作为后端Web框架Hybrid 混合路由算法语义路由中的多信号加权选路实践Hybrid 混合路由算法语义路由中的多信号加权选路实践 Hybrid 是 semantic router 中面向模型选择model selection阶后端API网关模型推理服务AI Agent上一篇5分钟上手Lottie-ios打造丝滑iOS动画的完整指南下一篇突破秒级加载Swagger UI性能优化实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
