i-have-adhd：易读回答、适配器与证据
怎样衡量 i-have-adhd：回答更短不等于成本更低
分别记录注入上下文、输出、重试和评审成本，完整理解上游未通过的发布门槛。
你将学会
- 先明确究竟要节省什么
- 把上游评测当成有边界的报告
- 保持基线干净，提前确定门槛
开始前需要
- 基础 Git 与命令行知识
- 能够区分观测行为与未经测试的主张
解释已检查的机制，设计可撤销试验，并在不把风格当正确性的前提下理解证据。
先看结论
- 阅读负担、延迟和费用需要分别测量。
- 上游报告明确记录发布门槛未通过。
- 被污染的基线不能证明改进。
先明确究竟要节省什么
阅读负担、响应延迟和服务商费用是不同结果。短回答可能漏掉前提，反而增加一轮交流；注入规则会增加输入上下文，是否命中缓存及怎样计费取决于具体服务。仓库大小和规则数量都不能直接证明节省了多少比例。
为每项任务建立输入 token、输出 token、重试、评审调用和耗时账本。两组保持模型、宿主版本、任务与配置一致；没有测量的数值保留未知。离线适配器测试不调用模型服务，也没有测量模型延迟或真实读者完成任务的时间。
把上游评测当成有边界的报告
固定版本 RESULTS.md 描述了十四个案例、每个三次试验，由同一模型系列生成和评审回答。候选组加权得分更高，但由于仍有阻断项，发布门槛未通过。报告指出一个禁用工具后无法完成动作要求的案例，以及部分成功场景中无依据断言原因的退步。
这些发现不支持“每个回答都变好”的简单主张。平均值改善可以与重要任务失败同时存在。我们未复现上游生成与评审运行，没有核验服务账单，也没有验证报告中的模型标识。表格属于维护者自报结果，不是本系列独立测得的基准。
保持基线干净，提前确定门槛
评测文档提醒，个人 always-on 设置可能把候选规则注入基线。所以隔离不仅是安装卫生，也是实验设计的一部分。应记录每个 runner 读取哪些配置源，明确固定模型，并在比较前确认两组包含完全相同的任务。
验收标准应先于分数确定：保留必要细节，避免无依据因果结论，并在平均可读性改善时仍拒绝阻断性错误。若某案例在允许工具下根本无法完成，应修复实验并重跑两组，而不是悄悄删除不利行。本篇没有启动付费模型评测。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
明确一个目标及其测量方法。
- 2
固定任务、模型、版本和配置源。
- 3
分别记录输入、输出、重试与评审。
- 4
先检查阻断项，再看平均得分。
可复制示例
{
"taskId": "同一任务",
"inputTokens": null,
"outputTokens": null,
"retries": null,
"judgeCost": null,
"readerCompletionSeconds": null,
"independentlyMeasured": false
}常见问题
到底能省多少钱？
本系列没有独立的费用节省测量。
可以只引用提高的加权分数吗？
这会遗漏理解结果必需的失败门槛、阻断项和实验限制。
资料来源
- i-have-adhd / evals/README.md来源核查 2026-09-12
- i-have-adhd / evals/RESULTS.md来源核查 2026-09-12
- i-have-adhd / evals/rubric.md来源核查 2026-09-12