Knowledge Work Plugins:让工作助手使用共享任务文件
怎样测量 productivity 的上下文成本与纠错工作
用固定请求集评估简称解释和任务提取,把用户修正时间、陈旧记忆及模型消耗一起纳入判断。
怎样测量 productivity 的上下文成本与纠错工作知识学习CN编辑简报更新 2026-09-18
你将学会
- 固定一组请求
- 记录用户仍需完成的工作
- 主动测试过时信息
开始前需要
- 基本命令行与配置阅读能力
- 能够在独立且获准的环境中试验
设计独立的只读解析预览,在保存前展示不支持的 Markdown、分组冲突和往返序列化差异。
先看结论
- 询问未知含义可能是正确结果。
- 人工修正也是成本。
- 记忆覆盖比例需要样本验证。
固定一组请求
准备包含已知简称、未知人物、截止日期和模糊承诺的请求,并在试验前标注期望解释。加入至少一个应先澄清、而不是直接创建任务的案例,避免把动作越多误当成效果越好。
在相同宿主和模型配置下,比较纯文件模式与少量获准连接器辅助模式。记录每种条件可用的背景信息,否则额外的信息供给容易被误认成记忆策略本身的改进。
记录用户仍需完成的工作
统计任务字段正确率、多余任务、遗漏承诺和修正分钟数。对于记忆问题,在能够观察时记录答案来自工作记忆、深层文件还是澄清;无法观察的路径应保持未知。
收集宿主提供的模型用量和连接器延迟。本地 Markdown 不会消除模型处理、订阅或外部服务费用,源码中的精简记忆目标也不能直接换算成节省了多少钱。
主动测试过时信息
在受控样本中途更换一个虚构项目负责人,并更新相关记忆文件。检查后续回答是否使用新负责人,以及其他文件是否仍保留旧值;这能评估维护负担,而不只是首次配置效果。
采用决定应同时报告样本量、版本和未解决错误。本次没有执行该基准测试,示例中的空值是有意保留的,只能在获得观察结果后填写,不能用估计数代替实测。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
标注固定请求集的字段和澄清预期。
- 2
记录可观察的模型用量及人工纠错时间。
- 3
更换虚构负责人后重复部分请求。
可复制示例
json
{
"experimentProposal": true,
"requests": null,
"correctFields": null,
"correctionMinutes": null,
"modelUsage": null,
"executed": false
}常见问题
本地看板让助手免费了吗?
没有,宿主模型及连接服务仍可能收费。
每个请求都应该成为任务吗?
不应,信息查询或模糊承诺可能不需要建任务。