跳到正文
OpenRouter Blog·· 1 天前精选AI 评分60

OpenRouter 重建提供商路由算法,TTFT 降低 16.9%

How we rebuilt provider routing for better, faster inference

AI 导读

OpenRouter 宣布重建提供商路由算法,从主要按输入价格分配流量改为综合实际价格、首字延迟、吞吐、错误率与输出质量计算路由成本。为期一周的切换实验覆盖超 2400 万次请求和 1030 亿输入 token,TTFT p50 降低 16.9%、吞吐 p50 提高 16.3%、遇到 429 的请求减少 67%,每千次请求成本上升 6.0%。

推荐理由

原文给出新旧路由的切换实验数据与成本权衡,可供评估推理路由策略时参考。

来源:OpenRouter Blog · openrouter.ai