FirstMate:助手工作组、持久证据与交付授权
FirstMate 性能与成本:分别测量监督、成员工作和集成交付
准确理解零 token 监督等待,并设计同时记录验收结果、模型消耗和人工恢复时间的试验。
你将学会
- Shell 等待不等于整个工作组免费
- 按阶段测量,不编造提速比例
- 只优化观察证据支持的瓶颈
开始前需要
- 理解 Git 工作树与拉取请求
- 理解终端助手和凭据权限范围
定义交付约定,检查状态与授权证据,并避免宣称未经验证的运行保证。
先看结论
- 等待不消耗 token,不等于助手工作不消耗 token。
- 验收交付物和人工修复时间都应测量。
- 并行耗时与累计资源使用不是一个指标。
Shell 等待不等于整个工作组免费
README 所说的事件驱动零 token 监督,指 Bash 监督器能够不调用模型地等待。主助手被唤醒后进行推理、派发或审阅时,模型消耗仍会发生;成员任务、重试和可选监督模型调用也各有消耗。不能把监督等待的描述扩展成免费执行全部任务。
应统计实际达到约定交付物的工作。三个助手同时运行,不等于三项修改已经完成。初稿更快可能被审阅、测试争抢或集成返工抵消。真正有价值的结果是通过验收的报告或安全交付的修改,而不是打开窗口的数量。
按阶段测量,不编造提速比例
在受限试验中记录接收、派发、实施、等待、审阅和交付的时间点,同时保存失败、重试次数及真实宿主提供的模型用量。区分墙钟耗时与成员累计工作时间:并行可能降低前者,却提高后者。
比较单成员与工作组时,使用相同任务定义和验收检查。先选独立任务,因为修改同一接口会引入集成耦合。除了计算消耗,还应记录人工检查和恢复分钟数。本系列没有执行吞吐、延迟或金额基准,不能给出已测收益。
只优化观察证据支持的瓶颈
如果反复唤醒模型占据主要消耗,先检查唤醒原因再考虑减少监督;如果测试占满机器,增加助手可能让完成更慢;如果集成占主导,应改善任务边界和审阅顺序。这些是基于测量的诊断假设,不是某个工作组规模最优的结论。
文档中的 Pi 监督分支可以独立于操作者对话选择模型和推理强度。这是配置能力,并不保证较便宜的选择仍保持监督质量。应试验具体配置,并把升级处理失败保留在结果中,而不是用平均值掩盖。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
为对比运行定义相同验收约定。
- 2
记录阶段耗时、用量、重试和人工审阅。
- 3
用证据识别主要瓶颈。
- 4
每次只改变一个配置后复测。
可复制示例
{
"试验建议": true,
"验收交付物数量": null,
"墙钟分钟数": null,
"成员累计分钟数": null,
"模型用量": null,
"人工审阅分钟数": null,
"已执行基准": false
}常见问题
FirstMate 能省多少钱?
本次没有测量节省金额,需要在自己的受限试验中记录真实宿主用量与审阅负担。
成员越多就一定越快吗?
不一定。共享测试、耦合修改和集成审阅都可能成为瓶颈。
资料来源
- FirstMate / README.md来源核查 2026-09-14
- FirstMate / docs/architecture.md来源核查 2026-09-14
- FirstMate / docs/configuration.md来源核查 2026-09-14