大模型推理中，如何在延迟、成本与效果之间做权衡并选择优化手段？
优化顺序应从减少不必要工作开始，再按用户体验拆分首 token、总时长、质量和单位任务成本。
直接结论
先定义目标指标：首 token 延迟、完整响应时长、每个成功任务成本、质量分和失败率。最有效的优化通常是少做工作：缩短输入与输出、减少串行模型调用、缓存稳定前缀或结果、把确定性逻辑移出模型，并为简单请求路由更小更快的模型。需要保质量时再用检索、批处理、并行工具调用或分阶段模型策略。不能只比较单次 token 价格，也不能用牺牲正确率换来的低延迟宣称优化成功。
原理与步骤
端到端时间由排队、网络、输入处理、生成 token 和工具调用组成，流式输出主要改善感知等待，不一定减少总计算。输出 token 往往直接增加生成时长和费用，清晰的长度限制有双重收益。上下文压缩要保留任务所需信息，缓存需要明确命中键、租户隔离和失效。模型路由可先用低成本模型处理分类或简单问题，置信不足再升级，但路由错误本身要进入评测。批处理适合非实时任务，不能硬套交互请求。
工程场景
客服助手先对真实流量分桶：FAQ 用检索加小模型，复杂政策解释升级到更强模型；固定系统前缀使用可复用缓存，独立工具并行调用，答案设置与问题匹配的长度。离线摘要进入批处理队列。仪表盘同时观察 p50/p95 首 token、总时长、输入输出 token、缓存命中、升级率、任务解决率和人工转接率。每次优化用同一评测集与流量切片对比，避免总体平均掩盖长上下文用户退化。
验证与边界
更小模型、量化或更短上下文可能降低复杂任务质量；并行会增加瞬时资源，投机或多路请求也可能提高总成本。缓存不能跨越权限、个性化或新鲜度边界，包含敏感数据时还要满足保留策略。定价、模型能力与平台限额会变化，实际选择要以当前官方文档和账户观测为准。压测需包含峰值并发、长短输入和工具失败，并用单位成功任务成本而非单位请求成本作最终判断。
答题练习
- 1分开首 token 与总时长
- 2先减少 token 和串行调用
- 3以单位成功任务成本评价
常见错误
- 只看 token 单价不看任务质量
- 把流式输出等同于计算更快
可能追问
- 模型路由如何设置升级条件
- 缓存怎样处理权限与新鲜度
来源记录
- 原始来源
- OpenAI Developers
- 来源页面
- Latency optimization
- 最近收录
- 2026-07-14
- 官方复核
- OpenAI Developers