先确认 skill 被加载了,再谈它有没有用:用 SkillEvaluator 接 verify skill

32 次阅读 0 点赞 0 评论 20 分钟原创技术教程

接昨天的 verify skill:在争论 skill 有没有用、能不能升分之前,先用无密钥的 skillevaluator harness-check 确认当前 harness 会不会加载它。SkillEvaluator 不是今天新发布(仓库 2026-06-24 创建,今日是 GitHub Trending 再上榜)。据 NVIDIA 2026-08-19 开发者博文自报,300 多个已验证 skill 在两个 harness 上 Correctness 平均 Skill Lift 41 分、Effectiveness 39 分,产品间约 +2 到 +46 分——这是厂商 8 月快照,不是今天的新测,也不是我实测。我没有亲自安装,也没有跑 harness-check 或 Tier 3。

#SkillEvaluator #harness-check #verify skill #Skill Lift #NVIDIA #agent skill #SkillSpector
先确认 skill 被加载了,再谈它有没有用:用 SkillEvaluator 接 verify skill

先确认 skill 被加载了,再谈它有没有用:用 SkillEvaluator 接 verify skill

昨天那篇 789《先写 verify skill,再放手给 agent:Claude Code 团队的验收方法》 讲的是:并行跑很多 agent,靠的不是先换更强的模型,而是给它一套用证据验收的闭环。verify skill 要回答的是——「它说做完了,够不够」。

可 skill 本身还可能根本没被当前 harness 加载。官方文档写得很直白:一份 skill 可以符合 Agent Skills 规范,却永远到不了模型。每个 harness 有自己的加载器、YAML 解析、目录和体积限制;同一份 SKILL.md,在一个环境里能用,在另一个环境里可能被丢掉,还不报错。还没确认「加载了没有」,就去争论它「有没有用」「能不能升分」,容易把没加载误判成 skill 无效,或把偶然触发当成稳定收益。

SkillEvaluator 把这一环单独拆出来:先用无密钥的 skillevaluator harness-check,看当前 harness 会不会加载它;然后再做 Tier 1 静态规则、Tier 2 语义重叠、Tier 3 有/无 skill 对照(Skill Lift)。仓库不是今天新发布——GitHub 仓库页显示创建于 2026-06-24。今天它再次出现在 GitHub Trending 上,改变的是能见度,不是首发日期。我在 2026-11-19 15:49(Asia/Shanghai)查看官方仓库页时,约 3907 star、531 fork;这类计数会变,不要把某一时刻的数字当成固定库存。

下面按官方 README、文档和 NVIDIA 2026-08-19 开发者博文转述。我没有亲自安装 SkillEvaluator,没有跑 harness-check,也没有复现 Tier 3 或那些 Skill Lift 数字,不提供「已经替你跑通」的截图或日志。

一、为什么先问「加载了没有」

789 里的 verify skill,前提是:你写进仓库的验收步骤,agent 在提交前真的会跑。如果相关 skill 根本没进当前会话的 skill 列表,或者进了列表但描述被截断、占位符没被替换、装在 harness 不扫描的目录里,后面的「有没有用」对照就会被污染。你以为在测 skill,其实在测「它有没有出现」。

这和 786《别信「测试已经写过了」》 是同一类谨慎,只是切口不同。786 说的是单一参考会把合格率抬高;这里要防的是把「没加载」读成「skill 没有效果」,或把某一次碰巧被触发当成可以发布的证据。官方把 harness-check 放在「大约一秒、不跑模型、不跑 agent」这一层,不是因为它能代替验收,而是因为它回答的问题更靠前。文档列出的典型时机包括:发布之前;skill 一直不触发时,先看有没有加载、有多少描述进了模型的 skill 列表;把为某个 harness 写的 skill 迁到另一个时;以及 skill 目录变大、列表预算被占满之后。这是官方使用场景,不是我实测过的故障率。

二、SkillEvaluator 是什么,它和 verify skill、SkillSpector 不是一回事

SkillEvaluator 是开源的多层评估框架,用来检查 AI agent 的 skill 和 plugin,并衡量 skill 对任务结果的影响。它是 NVIDIA Verified Skills 流水线的一部分,许可证 Apache 2.0。官方 README 写明支持级别是 Experimental:社区尽力支持,没有 SLA,也不包含 NVIDIA 企业支持。安装以官方 README 和当前 PyPI 为准,需要 Python 3.12–3.14(PyPI 元数据为 >=3.12,<3.15):

bash 复制代码
pip install skillevaluator

也可以按官方示例用 uv tool install --python 3.13 skillevaluator。从 GitHub 源码安装的步骤以官方安装文档为准,本文不转述未核对的命令。README 还写了 skillevaluator ci init(在仓库里开接入 CI 的 setup PR),以及 npx skills add NVIDIA/SkillEvaluator(把评估用 skill 加到 Claude Code、Codex 或其他 agent)。

有一处过时脚注不要带到今天:文档写明 Harness Check 包含在 1.0.1,不包含在 0.9.0。我查询 PyPI 时(2026-11-19),最新版已是 1.0.1,上传于 2026-11-18 00:20 UTC(Asia/Shanghai 08:20);GitHub 的 v1.0.1 发布于同日 00:10 UTC。PyPI 当时没有 1.0.0 这个中间包,CHANGELOG 则把该命令的加入记在 1.0.0。按官方文档,现在用 pip install skillevaluator 装到的 1.0.1 已带上 Harness Check,不必再把「0.9.0 没有这个命令」当成现状。我没有在本地执行安装或 --version。

它和昨天那篇 verify skill 是衔接,不是替代。verify skill 是你写给 agent 的验收闭环;SkillEvaluator 评估的是 skill 本身——写得是否完整、会不会被加载、会不会和已有指引重叠、装上之后结果有没有变好。先确认会被加载,verify skill 里的步骤才有机会稳定触发。

它和 SkillSpector 也不是同一个工具。SkillSpector 是面向 skill 的安全扫描器,用在安装前检查提示注入、数据外泄等风险;SkillEvaluator 是评估和验收框架。官方 README 写得很清楚:Tier 1 的安全与代码完整性检查会用到 SkillSpector,以及 Gitleaks、Bandit 和可选的 Semgrep。一个是扫描组件,一个是评估框架,不要混为一谈。项目还列出研究条目 arXiv:2608.20614。那篇论文有另一套样本和指标,和 8 月博文的目录快照不是同一组数字,本文只把它当作项目自列参考,不引用那套未在博文里核对过的数字。

三、无密钥的 harness-check:能回答什么,不能回答什么

官方文档把 harness-check 概括成:无 LLM、无 agent 运行、无 API key,基于版本化 profile,预测各 harness 会加载、降级还是丢掉你的 skill,以及该改什么。支持的六个 harness 是 Claude Code、Codex、Copilot CLI、Hermes、OpenClaw 和 OpenCode。默认全查,也可以只查你实际在用的:

bash 复制代码
skillevaluator harness-check ./my-skill
skillevaluator harness-check ./my-skill --harness codex,claude-code

目标可以是一个 skill 目录、一组 skill,或一个 plugin 目录。检查是静态的:读磁盘上的文件,不跑模型,不跑 agent,不用 sandbox,不用密钥。每个 harness 会得到三种结论之一:loads(未命中加载或降级规则,仍要读 note,因为另一个已安装副本可能优先)、degraded(会加载,但有内容被裁、被藏或被忽略)、not_loaded(被丢掉或拒绝,到不了模型)。

它能检查 它不能检查
按版本化 profile,静态预测六个 harness 会不会加载或降级 一次真实会话里,哪个 skill 真的到了模型面前
指出规则、harness 会怎么处理、以及建议的改法 加载之后有没有用(那是 Tier 3)
不需要 API key,也不跑 agent 质量分数(需另跑 quality-check)
单独运行时,发现项默认只是建议 代替隔离环境里的有/无 skill 对照

退出码也要按文档读。发现项默认是建议性质:not_loaded 为 MEDIUM,degraded 为 LOW,note 为 INFO,都在默认门限之下,因此 harness-check「无论发现什么都退出 0」。例外只有两类:路径里既没有 skill、也没有 plugin manifest,退出 1;用法错误(例如未知的 --harness 名称)退出 2。放进 validate 时,默认同样不阻断,除非策略提高这些严重级别。有一份可识别的 plugin manifest 时,即便没有 skill,仍会出 plugin 面板并退出 0。

部分限制取决于你怎么跑 harness。官方给了四个模型设置参数,均来自 CLI 参考,不是本地 --help 的输出。--context-tokens 默认 0,表示窗口未知,按最小窗口假设;若同时加了 --custom-provider,OpenClaw 会改按 128,000 tokens 假设,你显式传入的值则按原样使用。--custom-provider 表示模型走自定义或 OpenAI 兼容接口,或 harness 没有该模型的元数据。--explicit-invocation 表示靠显式提及激活(文档举例是 Codex 的 $skill)。--headless 表示非交互运行(文档举例是 CI 里的 claude -p)。不传这四个参数时,检查会假设:窗口未知、原生 provider、由模型自行打开 skill、交互式会话。另有 -v(查看各 profile 核对过的版本和日期)、--harness-version HARNESS=VERSION(声明实际发行版,若与核对版本不同会追加建议说明)和 --json FILE。

README 和文档里的示例输出,官方都标成了示意(Illustrative summary / example skill),不要当成对某款 CLI 的普遍结论。两处示意还不一样:README 是描述被截断、目录不被扫描、超过 Copilot CLI 描述上限;文档页则用「写了两次 license、正文用了 $ARGUMENTS」的虚构 skill。那正好说明示例是在教你读面板,不是评测纪要。我没有跑过这条命令,也不把示例写成「实测日志」。安装位置相关的规则,只在 skill 位于 .claude/skills、.agents/skills 这类 harness 根目录下时才适用。

四、三层分别回答什么,各自还要什么条件

文档把问题分成四句,每一层都可以单独跑:

你的问题 对应检查 官方示例命令 额外条件
是否结构完整、用起来安全? Tier 1 Validation skillevaluator tier1 ./my-skill --no-llm 无密钥可做静态检查;完整覆盖要做 scanner 设置。缺必需扫描器会标成 INCOMPLETE,并以非零状态退出。质量分默认 70/100 为通过线。
当前 agent 会不会正确加载? Tier 1 Harness Check skillevaluator harness-check ./my-skill 需要 1.0.1;无 API key,也不跑 agent。
会不会重复或和已有指引重叠? Tier 2 Deduplication skillevaluator tier2 ./my-skill 需要 all-tier 安装,以及 embeddings 和 chat。加 --catalog 才做跨 skill 比较。
装上之后结果有没有变好? Tier 3 Live Evaluation skillevaluator tier3 evaluate ./my-skill --env-mode docker all-tier、经过人审的数据集、模型 API key,以及默认的 Docker 沙箱。

README 写:静态规则和检测模式有 500+ 条,可不提供 LLM key 就跑 validate --tiers 1,但完整覆盖仍要做 scanner 设置。单独的 quality-check 也不需要 API key、扫描器、GPU 或 Docker,会打出百分制质量和默认 70 分的通过线;这只是静态质量,发布证据仍会保持 INCOMPLETE。

Tier 3 的核心不是「再跑一遍 agent」,而是受控对照。2026-08-19 博文和文档的说法一致:同一条用例在隔离沙箱里跑两次——一次安装 skill,一次不安装——提示、模型、输入和评分标准保持相同,唯一的实验变量是 skill 在不在。两次得分之差就是 Skill Lift,单位是分(points),不是百分比变化。默认执行层是 Harbor;1.0.1 另有实验性的 NeMo Gym 后端,需按安装文档单独准备,本文不展开。validate 不加 --tiers 时默认跑三层,并对 skill 使用 autopilot;没有现成数据时,可能只生成一条覆盖有限的 starter,不能当作完整性能结论。doctor --env-mode docker 检查的是就绪情况,不是推理是否成功。

五、厂商 2026-08-19 自报的数字怎么读

这一节必须和前面的方法分开读。下面的数字全部来自 NVIDIA 2026-08-19 开发者博文《Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator》,是厂商对自家已验证 skill 目录的自报,不是今天的新测,更不是我实测。博文写明:数字使用 2026-08-12 的 benchmarks.json 快照,对应 commit 738d79e,按已发布的 skill–harness 结果做宏平均;目录在持续评估,当前数字以 NVIDIA/skills 仓库里的该文件为准。我没有打开这份文件核对现值,也不把 8 月快照外推成今天的结果。

据该博文自报:他们对 300 多个已验证 skill、覆盖 30 多个 NVIDIA 产品,在两个独立 harness(文中是 Claude Code 和 Codex)上做了有/无 skill 对照。无 skill 时,Correctness、Discoverability、Effectiveness、Efficiency 的平均基线大约在 39 到 46 分(百分制),Security 基线已经是 97 分。有 skill 之后的平均结果是:

维度 无 skill 有 skill Skill Lift
Correctness 46 87 +41
Discoverability 42 82 +40
Effectiveness 39 78 +39
Efficiency 43 78 +35
Security 97 98 +1
全维度平均 — — +31
不含 Security 的平均 — — +39

也就是常被转述的那句:Correctness 平均 Skill Lift 41 分,Effectiveness 39 分。博文强调这是分数点的提升,不是通过率或百分比变化。Correctness 和 Effectiveness 是两种条件下都按结果来量的维度;Discoverability 和 Efficiency 有一部分在度量 skill 如何被激活和使用,不能把无 skill 基线理解成「完全没有能力」,也不要把这两项 Lift 读成「裸模型自己强了多少」。按 harness 拆开,博文自报:全维度平均 Skill Lift,Claude Code 是 +34,Codex 是 +29;去掉 Security 后分别是 +42 和 +36。作者的读法不是「某个 CLI 全面更好」,而是两个 harness 都有稳定收益,产品与任务的差别更大——两者平均大约差 5 分,但按产品看,Skill Lift 大约从 +2 到 +46 不等。限制也不宜省略:有公布结果的 skill 里,85% 每个任务只跑一次尝试,15% 跑两次;现场运行会波动,这篇博文没有报告置信区间。Token 消耗是单独跟踪的,并不等于 Efficiency 分数。博文举了两个单次尝试的例子:jetson-optimize-memory 使 token 下降 76.9%、耗时下降 53.7%;cuopt-install 反而使 token 增加 120.3%、耗时增加 20.8%。这是厂商举出的对照,不是「装上就会省 token」的通例,更不是我复现的结果。不要把 +41、+39 或 +2 到 +46 写成今天的新测,也不要期望换到自己的 skill 上就能复制同一幅度。

六、不落地也能先做的对照步骤

下面只是按官方文档整理的对照清单,不是我在自己环境里跑通之后的操作记录,也不是「照做就能得到 +41 分」。

  1. 先确认安装到的是当前 PyPI 的 1.0.1,而不是停在没有 harness-check 的 0.9.0。需要 Python 3.12–3.14。官方入口是 pip install skillevaluator,也可以用文档里的 uv 或源码安装路径。
  2. 对自己的 skill 目录跑 skillevaluator harness-check ./my-skill。若只向一两种 CLI 交付,加上 --harness。实际窗口、调用方式和运行环境若与默认假设不同,再按文档补 --context-tokens、--custom-provider、--explicit-invocation 或 --headless,不要把「未知窗口 + 交互式会话」的预测,直接当成 CI 无头运行的结论。
  3. 把官方示例输出和自己的结果分开看。示例是 illustrative,不是对某款 CLI 的普遍结论。先处理会让 skill 被丢掉或降级的问题,再去谈升分。
  4. 仍然不配密钥的话,可以再跑 quality-check,或在完成 scanner 设置后跑 validate --tiers 1。质量分过线不等于发布证据完整,缺扫描器会得到 INCOMPLETE;harness 发现项默认也不阻断 validate。
  5. 如果要回答「有没有用」,先准备并人工审过 evals/evals.json,再进入 Tier 3 的成对对照。不要把 autopilot 生成的单条 starter 当成性能结论。若已经按 789 写了 verify skill,可以把「当前 harness 会不会加载」放在那条验收环更前面:还没加载,就先不要解释分数。

这 5 步里,没有任何一步要求你先相信 +41 或 +39。那两句是厂商 8 月对自家目录的自报;能对照着做的是检查顺序,不是那两个数字。

小结

789 管的是「它说做完了」够不够;这篇补的是更前面的一环——当前 harness 到底有没有加载你写的 skill。788《密钥不要进 agent 的机器》 管的是身份放在哪,和这篇不混。785 和 786 分别谈验证门和单一参考,方向一致,只是工具不同。

SkillEvaluator 提供的顺序很清楚:无密钥的 harness-check 先回答加载;Tier 1 再看结构和安全;Tier 2 看重复和重叠;Tier 3 才用隔离对照测量 Skill Lift。工具从 2026-06-24 就在,1.0.1 把 harness-check 带进了当前的 PyPI 包;今天上榜改变的是能见度。支持级别仍是 Experimental。先按官方文档看完限制,再决定要不要在自己的 skill 仓库里引入它。我没有替你跑通。

参考来源

最后更新:[ 2026, 11, 19, 8, 0, 54 ]

评论 (0)

发表评论

blog.comments.form.loading
0/500

暂无评论,快来发表第一条评论吧!