成本优化

Batch API 成本:OpenAI、Claude 与 Gemini

Batch API 可以降低允许等待的任务的 Token 成本,例如夜间分类、文档补全和离线评测。先固定模型与工作量,对比其公开的标准和 Batch 单价,再把重试费用与业务可接受的等待时间纳入预算。

Quota Monitor 团队发布于

哪些任务适合 Batch API?

OpenAI 的异步 Batch 提供 Token 费用五折和 24 小时处理窗口。Claude Message Batches 的输入与输出也享五折,超过 24 小时可能过期。Gemini 将 Batch 定价为标准价的 50%,目标完成时间为 24 小时。具体模型、端点和输入类型是否支持仍需确认。

任务可能更早完成,但交互中的用户不应依赖批次及时返回。适合批处理的任务通常已有队列,或允许延迟交付。将需要即时响应的请求保留在正常路径,让可独立执行且允许等待的工作进入 Batch。

  • 夜间标签分类、信息提取和文档更新。
  • 固定数据集与验收标准的离线评测。
  • 结果无需立即使用的大规模迁移和历史数据补处理。

分别计算输入与输出

输入 Token 总数乘输入单价,输出 Token 总数乘输出单价,再相加。若单价单位为每百万 Token,应先将数量除以一百万。使用公开的 Batch 两列重新计算,不要假设账单上的每种费用都享相同折扣。

预算应包含系统指令、附加文本和需要计费的推理输出。用代表性任务的真实输出长度估算数量;如果拿很短的 Batch 回答与很长的标准回答比较,就会把工作量变化与价格差异混在一起。

费用 = 输入 Token ÷ 1,000,000 × 输入单价
     + 输出 Token ÷ 1,000,000 × 输出单价

同一 Token 预算下的三家费用对比

下面按 1,000 万输入、200 万输出 Token 计算,假设它们分布在多次短上下文、不使用缓存的文本请求中,单价来自下方链接价格页中注明日期的官方价格。修改数量或模型即可同时比较标准与 Batch 估算。

金额更低不代表输出质量相同。先确认模型达到任务要求,再比较每个合格结果的费用。表中日期表示底层价格表的核对时间,跨账期预算应重新检查优惠价是否仍然有效。

模型 / 来源标准费用(USD)Batch 费用(USD)价格核对日期
gpt-6.1-solUS$40.00US$20.00
Claude Sonnet 5.5US$40.00US$20.00
gemini-3.5-flash-liteUS$8.00US$4.00
1,000 万输入 + 200 万输出 Token,来自多次不使用缓存的短上下文文本请求。这是成本假设,不是质量或速度评测。

计算自己的 Batch API 预算

标准 Token 费用US$40.00
Batch Token 费用US$20.00

输入多次短上下文请求的合计数量,单位为百万 Token。两种估算使用相同模型与 Token 数,不含缓存、工具、多媒体、长上下文加价、区域附加费用和税费。请向供应商确认适用条件和最新价格。

缓存与额外费用需要单独算

这里的对比只计算普通输入和输出。缓存写入、读取、存储时长、工具、多媒体和区域处理可能采用不同规则。如果实际使用了缓存,应将对应输入部分替换为该处理模式的官方单价,不要对已经打折的总额再次直接打折。

上下文档位按单次请求判断。一千万 Token 分布在许多短请求中,与一个很长的提示不同;混合工作量应按档位拆分计算后再相加。供应商直连 Batch 价格也不会自动适用于通过 OpenRouter 等路由平台发送的同步请求。

保留成功结果,只重试必要任务

一个批次包含多条请求,除了任务总状态,还应逐条检查结果。OpenAI 说明,过期批次仍可能返回已完成的结果,这些完成的请求会计费。决定重试范围前,先保存成功结果。

保留稳定的任务标识,只重新执行未完成或未通过验收的任务,整批重新提交可能重复支付已成功的工作。分别记录首次处理费用、重试费用和合格结果数;有业务意义的指标是总费用除以合格结果数,而不只是最便宜的 Token 单价。

  • 先用少量代表性任务验证,再安排完整数据集。
  • 确定截止时间,并安排超时和失败任务的处理方式。
  • 保留结果 ID、Token 用量与模型版本以便对账。
  • 把人工审核和备用模型的费用一起纳入决策。

让预算与实际账单可以核对

将计划 Token 数与已报告用量分开记录。核对相同供应商账户、时间范围、币种和处理模式的费用;初期差异可能来自账务延迟。为更长的回答和重试留出余量,不把估算当作硬性消费上限。

Quota Monitor 的 OpenAI 与 Anthropic 连接读取所支持的已报告费用和消费上限,Gemini 按其账务与 Spend Cap 支持范围展示。这些不是预付 Credits 余额。Quota Monitor 不提交 Batch 任务,也不保证逐任务费用归因。接入前请通过教程确认凭据、数据口径和验证状态。

常见问题

Batch API 的整张账单一定便宜 50% 吗?
不一定。所选输入和输出单价有折扣,但 Token 数、重试、工具、缓存等费用都会影响最终账单。应使用所选模型与处理模式的实际单价,不把整张账单直接乘以一半。
并发发送请求就能获得 Batch 价格吗?
不能。并发的同步请求仍按其正常模式计费,Batch 价格需要使用供应商支持的批处理流程,并选择适用的模型或端点。
可以用这个结果对比 ChatGPT 或 Claude 订阅吗?
计算器估算的是 API Token 费用。消费者订阅价格与使用额度属于不同产品,本计算不会把订阅额度换算成 API Credits。

参考来源