模型经济学
LLM 路由策略：成本、质量、延迟与可用性
比较规则路由、成本路由、延迟路由和质量路由，并建立可解释的模型选择框架。
llm routing知识学习US编辑简报更新 2026-08-26
你将学会
- Define the product objective before selecting a routing strategy.
- Use hard constraints before weighted optimization.
- Log policy version and route inputs so decisions are explainable.
开始前需要
- Basic HTTP and API knowledge
Leave with a concrete implementation checklist and a testable starting point.
先看结论
- 先定义产品目标，再选择路由算法。
- 先执行硬约束，再做加权优化。
- 记录策略版本和输入，确保每次决策可解释。
先明确优化目标
路由本质上是优化问题。客服分类可能优先成本和延迟，代码代理则更重视质量和上下文处理能力。
在选择算法前先写出目标和硬约束，否则路由器可能优化一个与产品无关的指标。
策略对比
规则路由容易审计且行为稳定；成本路由适合高流量工作负载；延迟路由依赖实时遥测；质量路由依赖能代表真实任务的评测分数。
实际系统通常先应用硬约束，再在候选模型中做加权选择。
安全的第一版
从小型白名单和显式规则开始。只有当你能从日志解释当前决定后，再逐步加入实时信号。每次路由都应能由请求元数据和策略版本复现。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
定义质量、成本、延迟和可用性约束。
- 2
建立可用模型白名单。
- 3
一次只加入一个优化信号。
- 4
用真实流量评估路由结果。
可复制示例
text
eligible = models where endpoint_supported && account_enabled
route = argmin(cost) subject to quality >= threshold and p95 <= budget常见问题
路由是否应该永远选择最便宜的模型？
不应该。只有在满足质量、延迟和可用性约束时，最低成本才是正确选择。
资料来源
- EasyAI documentation来源核查 2026-08-27