AI 中转站

AI 中转站的钱花在哪,三段账拆开看

AI 中转站的钱花在哪,三段账拆开看

同一个模型,不同中转站报出来的价格能差一倍以上,很多人以为是加价不一样,其实大部分差别在计费口径上。同样一笔用量,按 token 扣和按次扣算出来的账单完全不同。

我把这件事拆成三段来看,输入、缓存、失败重试,每一段都有自己的坑。

第一段,输入到底算不算钱

官方的计费是输入和输出分开算,输入便宜,输出贵三到五倍。中转站的算法五花八门。

按 token 双边扣。 这是最接近官方的方式,输入按输入价输出按输出价,透明也最好比价。

按 token 单边扣。 有些站把你的输入也算成输出价,理由是「统一简化」。这种人写长提示词吃亏特别明显,一篇两千字的文档丢进去让它总结,输入部分的价格直接翻几倍。

按次数扣。 一次请求多少钱,不管输入多长输出多长,这种对小请求不划算对大请求特别划算,你要是经常让它读长文档跑长文本总结,按次扣的站比按 token 的便宜很多。

按月包。 定额多少钱一个月随便用,通常带每日次数上限或者限速,适合用量稳定的人,不适合偶尔爆量的人。

比价的时候先问清一个事,输入算不算钱、按什么价算。这一个问题就能解释掉一半的价格差。

第二段,缓存吃掉多少

这一段的坑最多,也最没人讲。

大部分模型服务支持上下文缓存,同样一段前缀重复出现,第二次开始价格大幅下降,官方能降到原价的一折甚至更低。问题在于中转站会不会把这个折扣传给你。

三种做法。

全额传递。 缓存命中的部分按缓存价扣,账单上能看到命中量。

部分传递。 缓存价按一个折中的数字算,比如原价的一半,剩下的它自己留着。

完全不传。 一律按原价扣,缓存的好处它全吃。

判断方法很直接,跑两次一模一样的超长请求,第二次的扣费如果跟第一次一样就说明它没传缓存折扣。

这件事对长对话的影响很大。一个持续几十轮的对话,每轮都要把前文重新发一遍,缓存命中率能到七八成。不传折扣的站,你在长对话上的成本会是没有缓存时的两三倍。

第三段,失败的请求算谁的

第三段最隐蔽,因为它不在价目表上。

超时截断。 输出到一半断了,有的站照样按已经生成的部分扣费,有的直接算失败不计费,前者你花了钱拿不到完整结果。

重试。 网络抖一下,客户端自动重试,一次请求变成两次扣费,用户通常感知不到。

限流拒绝。 并发打满被拒,有的站拒绝也照扣,有的不扣。

这三个加起来,在高频使用场景下能占到账单的两三成,低频用户感知不到,跑批量的做自动化的会非常痛。

判断方法,看它有没有明细账单。能按请求列出时间、模型、输入输出 token 数、扣费金额的,通常比较规矩。只给一个总数的,出问题你没法对账。

并发限制是另一种成本

很多站不是按 token 收钱,是按并发数分档,免费一并发,付费五并发、十并发。

这个限制的实际成本要换算成时间。一个请求平均三秒,一并发意味着你一分钟最多二十次调用,跑一千条任务要五十分钟,五并发是十分钟,这个差别在你赶活的时候非常明显。

按并发分档的站,看的是「峰值需求」而不是「总量」。你平时一天用十次,但有一次要连着跑五百条,那你需要的是高并发,哪怕一年只用一次。

掉线率这个数没人报

中转站的稳定性差异比价格差异大得多。

官方的可用性通常在 99.9% 以上,中转站要看它自己的上游和运维水平。有些站晚高峰会大面积超时,白天的数据完全代表不了晚上,这个数据没人主动报,只能自己测,方法是固定一个提示词,早中晚各跑二十次记成功率,跑三天就有概念了。

掉线率高意味着你要写重试逻辑,重试意味着成本上升,成本上升又抵消了价格优势,一家便宜三成但掉线率高一倍的站,实际成本可能更贵。

我的判断顺序

先看计费口径,输入输出怎么算、缓存传不传,这一条能筛掉一半。再看有没有明细账单,能不能按请求对账,这决定了出问题你能不能查。然后测三天的成功率,早中晚各二十次。最后才看价格,前面三条都过得去,价格差个一两成就没那么重要了,因为隐性成本比这点差价大得多。

本文写于 2026 年 11 月,作者 宝盒。数据会过期,看完自己再测一遍。