路由与上游策略
在不失去成本与行为控制的前提下,规划请求如何固定到已批准的上游。
为什么路由重要
当团队开始同时使用多个提供商时,路由就不再只是实现细节,而会直接影响产品质量。同一个请求落到不同模型上,成本、速度和模态支持都可能不同。
常见的路由目标
- 把高价模型留给真正需要它们的工作负载
- 当同一个模型可能有多个上游时,保持提供商策略清晰
- 降低评估、批处理和后台任务的浪费
- 让跨模型家族的计费更容易被团队解释和接受
当前上游选择
新接入模型按具体版本名固定上游,不再提供 gpt、claude、gemini 这类默认入口。
例如 gpt-5.5、claude-sonnet-4-5-20250929、claude-haiku-4-5-20251001、gemini-3.1-pro-preview、gemini-2.5-pro、gpt-image-2、seedance-2.0 和 suno 固定走 EvoLink。
gpt-5、gpt-5-mini、gemini-2.5-flash、Wan 2.7 图像和 Wan 2.7 视频固定走 APIMart。Cheap Model 不会对这些已映射模型自动重试另一家提供商。
为什么这里不是自动换上游
这些具体模型是在运行前先确定上游。请求要么进入已映射的上游,要么返回这个上游的错误。这样质量、计费和任务 ID 都更容易解释。
如果之后要加入自动换上游,应把它当成单独的产品策略,并明确哪些模型允许跨提供商切换。
哪些场景应该保持严格路由
如果你需要更稳定的质量、更可预期的价格,或非常明确的模态支持,就应该保持严格路由。这也是当前已登记模型的行为。
运维检查清单
- 为每类工作负载定义已批准的上游
- 明确哪些模型允许使用 APIMart-only 路由
- 定期查看日志与计费,避免策略漂移
- 把路由规则当作产品策略,而不只是基础设施细节
Cheap Model