先验收再搬家:定时 AI 杂活不必全交给最贵模型

32 次阅读 0 点赞 0 评论 15 分钟原创技术教程

据 Bitdepth 2026-11-13 第二轮自测:五件编造的、可用代码对答案的定时杂活,在 Claude Sonnet 5.5 上按设定频次外推一个月约 $258.53;只搬到每次都对的最便宜模型后,组合约 $11.04。收件箱摘要应留下,因为便宜模型会漏邮件。第一次失败测到的是输出上限,不是模型差。我对照过公开的 report.md 和 run.json,月费用和通过次数与博文一致,但没有重跑,也不是我的实测。样本小,月费用由频次外推,缓存策略也会改写对比。

#省token #Bitdepth #模型选型 #定时任务 #验收 #Claude Sonnet #DeepSeek #gpt-oss
先验收再搬家:定时 AI 杂活不必全交给最贵模型

先验收再搬家:定时 AI 杂活不必全交给最贵模型

Bitdepth 在 2026-11-18 发表的测试笔记里,有一组很适合拿来做「省 token」对照的数字:五件定时杂活,全部放在 Claude Sonnet 5.5 上,按作者设定的频次外推,一个月约 258.53;只搬到「每次都能对上答案的最便宜模型」之后,组合费用约 11.04。五件里有四件可以搬家,一件应该留下——收件箱摘要。便宜模型会漏邮件。

这些数字不是我实测,也不是一项公开基准的排行榜。任务是作者编造的短调用,一次调用、不带工具;Sonnet 每件只跑 5 次,两个开放权重模型各跑 10 次(每个模型用两个宿主、各 5 次);月费用是「测到的单次费用 × 假定频次」。作者把第二轮原始数据放在了公开仓库 unblinkr/bitdepth 的 data/routine/2026-11-13-pass2。我在 2026-11-20(Asia/Shanghai)对照过其中的 report.md 和 run.json:博文表格里的月费用和通过次数,与这份报告一致。我没有重跑这些调用,也没有逐条人工复核 responses.jsonl 里每一条是否判分正确。数据包自己也写了:这是一次性测量、工作数据,不是一项「发现」;数字是对事先写好的答案打分,并不解释宿主为什么这样答。

这和前面几篇省 token、验收是同一条线。781《先看见再省》 说的是先把账单拆开再谈裁上下文;785《让最贵的模型只写计划》 说的是贵模型不要每一步都上;789《先写 verify skill》、790《先确认 skill 被加载了》 说的是先写验收步骤,再确认 skill 真的被加载。今天要补的是另一句:不是所有无人值守的杂活都该用最贵模型,但「要判断什么重要」的活,不要为了省几美元去冒险。搬家的前提是——能对答案,而且这一轮每一次都对。

一、为什么这类定时调用的账单会高

原文把原因写得很直白:agent 每做一件事,都会把整本说明书再读一遍。公开报告里,这份系统提示是 55,818 个字符,约 13,954 tokens,每次调用相同。博文说,Claude Sonnet 5.5 每次大约按 20,000 输入 tokens 计费。对照 run.json,基线各任务的平均输入 tokens 大约在 19,796 到 20,136 之间,和原文的约数相符。

原文按「每百万输入 tokens 2 美元」估算:模型还没开始回答,单次调用大约 4 美分。一份每 30 分钟跑一次的状态检查,一个月就是 1,440 次,约 57.57,而且多数时候只是在听「没有新情况」。`run.json` 里基线平均单次费用约 0.03998 到 $0.04209,乘上各自频次后,正好得到原文表格里的月费用。

同一份说明书,在更便宜的模型上单价低得多。原文列出的标价是:gpt-oss-120b 每百万输入 tokens 0.03,DeepSeek V4 Pro 大约 0.66。一次在 Sonnet 上大约 4 美分的调用,在 DeepSeek V4 Pro 上大约是 0.2 美分,在 gpt-oss-120b 上大约是 0.05 美分。这些是原文在测试当时列出的标价,我没有再去核今天的价目,也不能把它们当成你现在下单能拿到的价格。

还有一件对照数据包才能看清的事:基线 Sonnet 各任务的平均缓存 tokens 都是 0;两个「lane」模型则有大量缓存命中。原文自己也写了:缓存按各宿主默认,如果把 Sonnet 的缓存调好,它的月费用还会更低。所以 258.53 对 11.04 不能直接读成「换模型就能省 95.7%」——里面叠了单价、缓存策略、以及「只搬每次都对的任务」这几层。这和 760《省 Token 冷静篇》 是同一类提醒:测试或厂商自报「省下多少」,不等于你的账单会按同一比例下降。760 写的是另一组数字、另一次对照;这里同样不要只把 95.7% 抄进自己的预期。

再看结构,也能看清钱主要花在哪。按原文表格,监控 119.52、工单打标 63.14、状态检查 57.57,三件高频活已经占掉基线月费用的大部分;收件箱摘要只有 6.06。高频、答案又可核对的活,才是搬家最可能动得了账单的地方。反过来,为了再省不到 6 美元去动最容易漏的那件,性价比最差。

二、测试怎么设计,先看限制

五件活都是编造的,每件都有一个可用代码核对的答案。博文里的名称和公开报告里的代号对应如下:

博文名称 报告代号 假定频次 一个月调用次数
状态检查(有没有到期事项) heartbeat 每 30 分钟 1,440
监控(有没有服务值得告警) monitor 每 15 分钟 2,880
收件箱摘要(哪些邮件需要处理) digest 每天,按 5 次模型调用计 150
每日简报 briefing 每天,按 10 次模型调用计 300
工单打标(每天 50 批,每批 20 张) tagging 按批次调用 1,500

这里要读细一点。博文写「收件箱摘要一天一次」「每日简报一天一次」,容易看成「一天只调一次模型」。公开报告的假定是:每日摘要按 5 次模型调用、每日简报按 10 次计,所以一个月才是 150 和 300。月费用用的是「测到的单次费用 × 这个假定频次」,你的节奏不一样,账就不一样。

对照设置是:

  • 基线:Claude Sonnet 5.5,默认路由;每件 5 次。
  • 开放权重一侧:gpt-oss-120b 和 DeepSeek V4 Pro。公开报告把它们放在作者夜间评分允许的两条最便宜「lane」宿主上,每件因此是 10 次(2 个宿主 × 5 次),不是同一台机器连跑 10 次。
  • 温度 0。报告写明没有发送 reasoning 参数,各宿主按自己的默认运行。
  • 由代码按事先写好的答案判分,不用另一个模型当裁判。
  • 第二轮把输出上限提到 1,500 到 2,000 tokens。报告记录这一轮被截断的回复有 1 条;这一轮账单是 1.2877(原文写作约 1.29),预算上限 $3.50,没有因为预算跳过行。

原文还写了:他们先跑过一轮,当时把回复上限设在 64 到 400 tokens。那一轮里,gpt-oss-120b 多数行返回空文本,Sonnet 在监控任务上答到一半被切断。作者认为那一轮测到的是输出上限,不是模型本身,于是提高上限后重跑。上面这些数字都来自第二轮。第一轮的原始数据不在我对照的这个 pass2 目录里,我只转述原文,没有核第一轮日志。

三、费用和通过情况:不是选最便宜的,是选「全对的最便宜的」

搬家规则很明确:只搬到最便宜、且这一轮每一次都对的模型。原文把入选的月费用标成加粗,组合起来是 11.04。我按报告里的数字复算:状态检查走 DeepSeek V4 Pro 的 2.65,监控走 gpt-oss-120b 的 1.52,收件箱摘要留在 Sonnet 的 6.06,每日简报 0.12、工单打标 0.69 走 gpt-oss-120b,相加是 11.04。相对「五件全留在 Sonnet」的 258.53,差额 $247.49。

任务 一个月调用 Claude Sonnet 5.5 DeepSeek V4 Pro(lane) gpt-oss-120b(lane) 按规则怎么处理
状态检查 1,440 $57.57,5/5 $2.65,10/10 $0.58,9/10 搬家到 DeepSeek V4 Pro
监控 2,880 $119.52,5/5 $7.89,9/10 $1.52,10/10 搬家到 gpt-oss-120b
收件箱摘要 150 $6.06,5/5 $0.30,9/10 $0.06,7/10 留下
每日简报 300 $12.24,5/5 $0.53,10/10 $0.12,10/10 搬家到 gpt-oss-120b
工单打标 1,500 $63.14,5/5 $3.52,10/10 $0.69,10/10 搬家到 gpt-oss-120b
一个月 — $258.53 $14.89 $2.97 组合 $11.04

规则在状态检查上最清楚:gpt-oss-120b 更便宜,但 10 次里错了 1 次,于是这件活改走 DeepSeek V4 Pro,月费用从 0.58 变成 2.65。目标不是「尽可能便宜」,是「能过验收的最便宜」。

10/10、9/10 这类分数,还要记得它是两个宿主合计。公开报告把每个宿主 5 次的结果也列了出来。例如 DeepSeek V4 Pro 的两条 lane 宿主,在全部五件、各 5 次上,一个是 25/25,一个是 23/25;gpt-oss-120b 的两条 lane 宿主是 24/25 和 22/25。所以「某模型在某任务上 10/10」不能读成「这个模型在所有宿主上、对所有任务都稳」。样本本来就小,再按宿主拆开就更小了。

四、为什么收件箱摘要不要搬

这是原文认为最值得读的部分。两个开放权重模型在这件活上都没有全对:gpt-oss-120b 是 7/10,DeepSeek V4 Pro 是 9/10。原文描述失败形态是:gpt-oss-120b 有 3 次完全没有列出需要处理的邮件,DeepSeek V4 Pro 漏了 1 次。我没有逐条打开 responses.jsonl 去复核这 4 次失败的原文,所以失败形态按博文转述。

作者给的理由是:状态检查往往有一个对得上的答案;摘要却要判断「什么重要」。漏一封邮件是安静的错误——系统没有崩,于是也没有人立刻发现。这件活留在 Sonnet 上一个月约 $6.06,搬走大概能再省不到 6 美元,却要承担漏邮件的风险。按他们的规则,留下。

这不是在说「所有摘要任务都必须用 Sonnet」,只是说:在他们这组编造的邮件、这一轮小样本上,便宜模型没有达到「每次都对」。你自己的收件箱是不是同样结论,要用你自己的最近运行去重放,而不是把 $6.06 抄到自己的账单上。

五、第一次失败测到的是输出上限,不是模型差

参数比模型本身更容易把测试带偏。上面已经说过第一轮 64–400 tokens 的上限问题。第二轮把上限提到 1,500–2,000 tokens 之后,报告里仍有 1 条回复被截断。若你自己做重放,输出上限要留得宽一些,否则你测到的可能是截断,不是模型会不会做这件活。

原文还写了速度:Sonnet 平均 2.4 秒,gpt-oss-120b 平均 6.2 秒,DeepSeek V4 Pro 平均 8.1 秒。这些耗时我没有在 report.md / run.json 的汇总里单独核对,按原文转述。对定时任务来说,慢几秒通常可以接受;如果是有人在等的交互,这个差距就不一样了。

关于宿主,原文的判断是:影响比他们预想的要小。他们另外跑了夜间评分列在参考范围之外的宿主,在这些简单任务上,其中一家 25/25 全过。公开报告里,「outside」的 DeepSeek V4 Pro 宿主确实是 25/25;lane 里也有一家 DeepSeek 宿主是 25/25。作者的结论是:在这组短任务上,起决定作用的是模型和参数设置。我不会把这句话扩展成「选哪家宿主都一样」,更不会把它写成安全背书——账单上能对答案,和这个宿主怎么处理日志、提示词,不是同一件事。

六、这篇测试说明不了什么

原文自己列了限制,公开报告也写了几乎相同的几条。值得原样记住:

  • 样本很小。Sonnet 每件 5 次,开放模型每件 10 次(还要拆到两个宿主)。通过率只适合当第一轮读数。
  • 任务是编造的、短的,一次调用、不带工具。真实 agent 往往会串起多次调用,并带着更长的历史。
  • 月费用是「一次测到的调用 × 假定日程」。你的频次、批次、提示词长度都会改写这个数字。
  • 缓存按各宿主默认。前面已经看到:这次测量里 Sonnet 的缓存命中是 0,便宜一侧不是。把 Sonnet 的缓存调好,基线月费用还会下降。
  • 只有一个基线。作者写明还没有拿一个便宜的闭源模型做第二对照。
  • 这是 2026-11-13 的一次性测量,价目和宿主名单都会变。

另外,10/10 不是「以后永远对」。价格变了、模型升级了、提示词改了,都应该再测一遍。

七、可以自己做的五步

原文给了一套不必交给他们、可以自己动手的步骤。我按这个框架写成自测清单,并不表示我已经在自己的任务上跑过:

  1. 列出那些按日程跑、或每来一条新消息就跑、没有人在旁边盯的任务。
  2. 先只留下答案短、而且可以对得上的:一个标签、是或否、一个数字、一个字段。需要判断「什么重要」的,先不要放进搬家候选。
  3. 把每件活最近 20 次真实运行,拿到更便宜的模型上重放,输出上限留宽一些,避免又测到截断。
  4. 只有每次都对得上,才搬家。需要判断重要性的活,留下。
  5. 价格或模型一变,再测一遍。

这和 790 里「先确认 skill 会被加载,再谈它有没有用」是同一类顺序:先回答一个能判定的问题,再谈省钱或升分。这里能判定的问题是——便宜模型能不能对上你已经信任的答案。最近 20 次全对,也只是这一轮的证据,不是永久保修。

执行时有几条容易被省略,值得单独写清。

「对得上」最好是你已经接受过的输出,或能写成规则的结果:标签必须落在固定集合里,是或否,某个字段等于预期值。Bitdepth 用代码对事先写好的答案打分,不用另一个模型当裁判。若你只能用更强的模型去评更便宜的模型,先把这当成权宜,并抽一部分做人审;否则你验收的是「两个模型是否彼此同意」,不是「是否等于你要的答案」。

最近 20 次真实运行,也要避免只抽「一切正常」的片段。如果任务是每天一次,20 次大约覆盖 20 天;如果是每 15 分钟一次,就近切一段,但里面既要有安静的「没有新情况」,也要有真正该告警、该打标的例子。只在安静时段拿到 20/20,说明不了它在出事时还会不会对。记录里至少写下:用的模型、宿主、输出上限、是否对上、以及对不上时差在哪里。换模型或改价之后,这些记录才比较得了。

如果你的任务没有「对得上的答案」,就不要强行搬家。摘要、分诊、要判断优先级的活,错误往往不报错,只是漏。这类活更适合先做人抽检,或先留在你已经信得过的模型上,而不是先看能省几美元。原文末尾也提到可以向他们提交样本、换一份报告,那是他们的产品说明;本文只取这套可以自行重放的方法。

八、不要从这组数字里读出的结论

  • 不是「开源模型全面击败 Claude」。四件可搬家的活,答案本来就短、可核对;唯一要做判断的那件,便宜模型没有全过。
  • 不是你下个月的账单会变成 $11.04。那是作者在假定频次、默认缓存、这一组编造任务上的外推。
  • 不是所有收件箱摘要都必须留在 Sonnet,也不是 DeepSeek 或 gpt-oss 现在就适合你的监控任务。
  • 不要为了省不到 6 美元,去冒险漏掉一封需要处理的邮件。
  • 我没有在自己的环境里重放这五件活,也没有为你挑选模型或宿主。

若你要自己核对原文和数据,入口是博文 https://bitdepth.dev/blog/five-routine-ai-jobs ,以及公开仓库里的第二轮目录 https://github.com/unblinkr/bitdepth/tree/main/data/routine/2026-11-13-pass2 。数字会过时,方法可以留下:先验收,再搬家。

最后更新:[ 2026, 11, 20, 7, 50, 47 ]

评论 (0)

发表评论

blog.comments.form.loading
0/500

暂无评论,快来发表第一条评论吧!