复杂 Harness 不如多想?Surge +「Harness 买 token」对照

8 次阅读 0 点赞 0 评论 15 分钟原创技术教程

对照 Surge(固定 Opus 5.5、sudo L7)与山大预印解读:拉高 thinking 约 +11.3 分远大于 harness 插件 2–3 分;8032 次试验里换 harness 过关≈重跑噪声(约 13%),同价表成本可差约 3×。建议先拧 thinking、把 harness 当成本杠杆,并附 5 条自检。

#Harness #Claude Code #省Token #验收 #Surge #thinking #Coding Agent #sudo L7 #SWE-bench #独立开发
复杂 Harness 不如多想?Surge +「Harness 买 token」对照

复杂 Harness 不如多想?Surge +「Harness 买 token」对照

给活动报名系统加一条改动:确认邮件里带上 Zoom 链接和密码。听起来像十分钟就能收工的小事。Surge 测过的一套「豪华」配置却派出了 17 个评审 agent——五个审计划(可行性、范围、安全),五个找简化空间,七个审代码——外加 37 个 skills。结果呢?谁都没拦住真正要命的那条:确认邮件在付款前就发出去了,没付钱的人也能拿到 Zoom 密码。

堆 skills、多开评审 agent,不等于更好的验收。这不是段子,是 Surge 2026-11-03/04 的 coding-agent harness 基准 开场案例。同一周,Anaz 对山大预印《What Does a Harness Buy? Tokens, Mostly》的解读又补了一刀:固定模型换 Claude Code / mini-SWE / OpenCode,过关率往往掉进重跑噪声里,账单却能差约 3×。

两篇合在一起,独立开发者能带走一句很硬的话:Harness 主要拧的是账单,多想(thinking effort)和换模型才更像质量杠杆。

说明:文中数字与实验设定均据 Surge 原文、Anaz 对山大预印的解读转述;本文未在本机复现任何 harness 对比,也不编造本机实测。拾光外派与 ByteAsk「乱装更贵」只作轻对照,不当主线证据。

一、开场漏坑:17 个 agent 仍没挡住「未付款拿 Zoom」

Surge 的问题很直白:最近几个月 coding agent 周边出现了 skills、插件、多 agent 工作流的「寒武纪爆炸」——有人用 vanilla Claude Code,有人搭起规划/评审/监督的小官僚体系。感觉都很高级,但是否真的写出更好的软件?

他们把模型钉死在 Opus 5.5,在自研的 sudo L7 上测(真实代码库、常欠指定、按员工级工程判断打分,不只看测试绿不绿)。Harness 对比用 medium thinking;另加一组 vanilla 拉到 xhigh。核心问题只有一句:模型不变时,改周围工作流能换来多少改进?

开场那个 Zoom 案例,价值不在嘲笑某一套 harness,而在暴露验收盲区:大家共享了同一个错误假设(「按用户字面要求改邮件」),多几个 reviewer 也只会把错误审得更精致。多 agent ≠ 多视角;同一前提复制 17 份,还是同一前提。测试套件全绿,也挡不住「未付款拿到入场密码」——这正是 sudo L7 想测的那类员工级判断,而不是「diff 能不能编译」。

二、Surge:拧 thinking,比堆 harness 更划算

据 Surge,固定 Opus 5.5、在 sudo L7 上对比四套 Claude Code 配置,再加上「不改 harness、只加 thinking」:

做法 相对增益(约) 成本侧(约)
Vanilla,thinking 提到 xhigh +11.3 分 相对 medium vanilla 约 3.5×(Surge 文内建议档)
Superpowers(强计划/测试纪律插件) +2.4 分 约 ×1.1
内置 /goal + /code-review +3.3 分 约 ×1.8
Compound Engineering 类编排 无统计清晰增益 自称约 8×

一句话:thinking 的抬升远大于 harness 插件那 2–3 分。 你花一下午拧复杂 agent 编排之前,先问有没有拧过更简单的那根旋钮。

xhigh 相对 medium,在 sudo L7 分项上据 Surge 的提升更「验收到位」:

  • Verification & Thoroughness:+14.9
  • Persistence:+9.8
  • Thought Partnership:+7.0

视频剪辑任务是个好例子:用户要求把「第一段 clip 缺失就崩溃」改成可选。Medium 修了表面原因就交差(14/100,0.12**);xhigh 继续追,发现 fallback 路径仍假设第一段存在(**100/100,0.41)。多花约 29 美分,从坏修复变成能用的修复——据 Surge 原文表格。

Surge 自己的实用建议也很克制:vanilla 已是强基线;要便宜增益看 Superpowers;要更完整收尾看 /goal+/code-review;质量优先于成本时先加 thinking;上复杂多 agent 前,用自己的任务集 benchmark。他们也诚实说:还没测「xhigh + /goal + code-review」叠在一起会怎样,也没在相同美元/时间预算下全面对照。

三、山大预印解读:过关≈噪声,账单可差约 3×

Anaz 解读的核心句几乎可以直接当小标题:Your coding agent harness sets the bill. The model sets the score.(Harness 定账单,模型定分数。)

据解读:Liu & Han(山东大学)预印《What Does a Harness Buy? Tokens, Mostly》,8032 次试验;固定模型,轮换 Claude Code / mini-SWE-agent / OpenCode(版本钉死、一容器一 trial、300 步预算);模型覆盖本地与托管(两款 Qwen on vLLM,以及 DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等;Claude Opus 5 仅作 Claude Code 侧锚点)。发布表覆盖 Verified 中 492/500 题。

脚手架跨度很大:

  • mini-SWE:基本只有 Bash,前言约 829 token;
  • Claude Code:文件编辑/搜索、长指令、自动压缩历史,前言约 16,581 token——在你的 issue 陈述之前就先吃掉一大截(解读称 issue 陈述本身约 554 token、各臂相同)。

1. 难任务上,换 harness ≈ 重跑噪声

在 45 道最难任务上,据解读:

  • 什么都不换、只重跑:翻转率中位约 13%;
  • 换 harness:约 13%;
  • 换模型:约 22%。

也就是说,harness 效应坐在重跑噪声地板上。任务级「谁赢」复现像抛硬币:六组 harness 对、各跑两次,5 题两次同向分裂,7 题两次反向。在 447 题池上,Claude Code 与 mini-SWE 在两款 Qwen 上通过了作者的 5 分等价检验(差距约 1.8、1.4 分)。

OpenCode 有一处越过噪声的效应,但是亏损:大池上最多落后约 9.2 分,约一半来自 32k 输出截断。解读提醒:Qwen 臂给 Claude Code 的墙钟(约 36,000 秒)与 OpenCode(约 5,760 秒)不对称,赤字应视为设置敏感,不宜当产品终审判决。

2. 同价表任务成本可差约 3×;小 preamble 不保证便宜

同一模型、同一任务、同一价表,成本可差约 3×。解读举例:某次 GLM-5.3-Flash trial,Claude Code 1.81 元、mini-SWE 0.97、OpenCode 0.56。差距在首包就定了调——Claude Code 固定输入约 17,135 vs mini-SWE 约 1,382——再被步数放大(该模型上均值约 88.1 / 80.2 / 55.1 步)。

DeepSeek-V4-Flash 则把排序翻过来:最小 harness 跑了约 141 步 vs Claude Code 约 104,transcript 越积越厚,最终反而最贵(约 1.02 vs 0.98 元)。短系统提示 ≠ 小账单——步数会吃掉你以为省下的前言。

缓存命中率即使到 96–99%,也难翻序:折扣能缩小发票,但大 preamble 折完往往仍更贵。盯两件事就够:首包 input,以及 每任务步数。

3. 关掉 thinking:谁在替推理干活?

一处小 ablation 含义很大。thinking 关掉后,Qwen3.6-35B-A3B 在 Claude Code(约 +2.2)与 OpenCode(约 +3.4)几乎不动,但在 mini-SWE 掉约 11.1 分(p=0.04)。脚手架(工具、压缩、长指令)在替 reasoning 干活——买到的是「最小 harness 做不到的那部分工作」,不一定买到更高过关率。

4. 网页开着会「抄上游」;<5 分差距先问 rerun

侧发现值得所有人做 agent 评测时抄作业:开网页时,DeepSeek/Qwen 的 312/439 次 trial 直接去 GitHub 抓上游 fix,过关约 96% vs 从不碰网约 71%;Claude 模型侧约 4/445。作者整批丢弃联网结果,并在网络层强制离线——不是靠 prompt 说「别查」。Prompt 禁令不是控制。

功效分析同样可复用:按观测到的分歧率,45 题抓 13 分差距只有约一半把握;447 题池大约能分辨 5 分。有人甩给你「2 分 harness 胜利」时,正确反应就一个词:rerun。少于约 450 题的对照,最好再要两份。

四、两文合成:先拧 thinking,再挑可操作 harness

把 Surge 与山大预印对照读,实用结论其实很收敛:

  1. 质量优先时,先拧 thinking / 换更强模型,再谈花哨编排。Surge 里 xhigh 的 +11.3 远大于插件 2–3;预印里换模型翻转约 22%,换 harness 约 13%(≈重跑)。
  2. 把 harness 当成本杠杆,把模型当质量杠杆。 选你能运维、能看账单的那套壳;别为了多 2 分去背 8× 编排。
  3. 轻量、可操作的 harness 可以留。 Superpowers 约 +2.4 / ×1.1、/goal+/code-review 约 +3.3 / ×1.8——有增益、账目清楚。复杂多 agent 先自测,别信星标。
  4. 验收要独立于「执行方」。 Zoom 漏坑说明:同一假设下的多 reviewer 救不了产品判断。公开仓 shiguang 一类「外派 + 独立验收」叙事,方向上就是在防这种共谋式漏审——本文不展开私有实现细节。
  5. 乱装也会更贵。 上午素材里 ByteAsk「强开 LSP 更贵」一类观察,和本文同向:多挂一层能力,先问首包与步数,再问分数。不要默认「多装 = 更强 = 更省」。

还没测清的事也诚实挂着:xhigh 与轻量插件叠用是否更好?相同美元预算下谁赢?单一基准(sudo L7 或 SWE-bench Verified)外推要留余量。小样本上的华丽胜利,优先当假说,不当制度。

对照日常体感,也别把「vanilla」神化。Vanilla 强,是因为在 Surge 这组任务与固定 Opus 5.5 上,它已经吃满了模型本身的判断力;你的仓库若长期依赖项目约定、内部 API、私有规范,轻量 skills 仍可能有用——只是要把增益写成「可复现的 A/B」,而不是「装完感觉更专业」。账单侧同理:Claude Code 那约 1.6 万 token 前言不是缺陷,是你买到的产品能力;该问的是这笔固定成本有没有换来更少步数或更稳的验收,而不是星标数。

五、给独立开发者的 5 条自检

只读、可执行,不要求你本周重搭整套 harness:

  1. 先记两笔账再改配置:当前默认会话的「首包 input token」与「典型任务步数/轮数」。改 skills、MCP、多 agent 前后各记一次,看账单是否被悄悄抬高。
  2. 质量旋钮优先于编排旋钮:同一任务,先试更高 thinking / 更强模型各一轮,再决定要不要上 37 skills。若 xhigh 已经过线,复杂 harness 的 ROI 要重新算。
  3. 任何 <5 分的 harness 宣称,先要 rerun(最好同配置跑两次);任务数明显少于约 450 时,把结论标成「初步」。
  4. 评测默认离线:能在网络层掐网就掐;不要只靠 system prompt「禁止查阅上游」。开网页的 trial 与离线 trial 必须分开记账。
  5. 验收与执行拆开:改产品逻辑(付款时机、权限、对外邮件)时,至少留一个不共享同一套 plan 假设的检查——可以是另一模型、人工清单,或独立脚本。多 agent 同温层审查,挡不住「确认邮件提前发」这种业务坑。

可选加一条:装插件前读 SessionStart / 长 preamble / 自动派发 reviewer 的配置——它们既改行为,也改首包成本。上午 ByteAsk「乱装更贵」与本文「harness 买 token」是同一张发票的两面。

落地时可以用一张极简对照表(自己填,不求实验室精度):

旋钮 你改了什么 同一任务分数 美元/人民币 首包 input 步数
基线 medium + 当前 harness
多想 仅提高 thinking
加插件 仅加某一 skills/插件
换壳 换另一 harness(若有)

连续两周填下来,通常比再读一篇「神级 workflow」更能决定你要不要继续为 8× 编排付钱。

六、结尾:少一点官僚,多一点可测的拧法

独立开发者的时间预算里,「下午搭一套像大厂的 agent 官僚」诱惑很大。Surge 提醒你:有时只是把 Zoom 密码更隆重地发给了未付款用户。山大预印提醒你:你可能主要为前言和步数付了 3 倍钱,过关率却还在重跑噪声里。

可行动作收束成四步:

  1. 今天打开你最常用的 coding agent,看一眼默认 thinking 档位与首包体量。
  2. 挑一道自己真实踩过的小任务,medium vs 更高 thinking 各跑一次,只比验收清单,不比「感觉更专业」。
  3. 若在用重型 skills / 多 agent:用同一任务集做一次 A/B,记下分数、美元、步数;没有清晰增益就降回轻量。
  4. 写进个人 checklist:&lt;5 分 harness 差距 → 问 rerun;开网页评测 → 不当数。

复杂 harness 可以有,但应排在「多想」和「换对模型」之后,并且随时能被你自己的数字解雇。否则你买到的,多半是 token,不是判断力。

参考

最后更新:2026-11-05T15:48:41

评论 (0)

发表评论

blog.comments.form.loading
0/500

暂无评论,快来发表第一条评论吧!