TesterArmy e2e
TesterArmy e2e 的性能与成本：诚实测量回放
分开记录无模型测试、模型动作和有条件的缓存运行
TesterArmy e2e 的性能与成本：诚实测量回放知识学习CN编辑简报更新 2026-10-14
你将学会
- 数清调用发生处
- 算完整作业成本
- 把决策模型当成可选项
开始前需要
- 可丢弃的应用或测试账号
- Web 或移动引擎
- 明确选择的 Agent 模型供应商
两次运行后再修改 UI，检验缓存动作的边界
先看结论
- 无模型与 Agent 测试成本不同。
- 回放节省依赖有效复用。
- 供应商置信度需要上下文。
数清调用发生处
README 说明无 Agent 步骤不需模型。`agent.act` 或 `agent.assert` 使用配置的模型路线；合格的录制轨迹在后续运行可能不用模型回放。
这三者不是同一工作负载。应分别比较，并记录轨迹是否被接受、中止或回退到实时步骤。脱离回放命中率谈节省数字会掩盖关键前提。
算完整作业成本
即使模型调用数为零，Web 和移动引擎也有启动与观察成本。托管浏览器、模拟器和付费模型又会增加不同费用。
公平对照需保持同一应用版本、引擎、设备和供应商，同时计入重试、失败断言、产物保留和人工审查时间。
把决策模型当成可选项
decision-model 执行器可让供应商选择有边界的语义动作和判断，但置信度统计及门槛与供应商有关。固定指南说没有报告置信度时按零处理。
我们没有跑基准测试或核对商业价格。先评估正确性和稳定性，再优化 Token；廉价却经常误判的测试维护成本很高。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
记录无模型基线。
- 2
同一样本测模型调用与回放命中率。
- 3
纳入引擎启动、重试和人工审查。
可复制示例
csv
run,engine,model_calls,replay_status,elapsed_seconds,provider_cost,review_minutes
baseline,,,,,,not-measured常见问题
第二次运行必定不调用模型吗？
只有轨迹合格且应用状态足够匹配，才可能走无模型回放。
托管引擎是提速前提吗？
README 列出的托管包是可选项，先测本地引擎。
资料来源
- TesterArmy e2e / README.md来源核查 2026-10-14
- TesterArmy e2e / docs/decision-models.mdx来源核查 2026-10-14
- TesterArmy e2e / docs/reference/runner.mdx来源核查 2026-10-14
- TesterArmy e2e / packages/e2e/src/agent/replay.ts来源核查 2026-10-14
- TesterArmy e2e / packages/e2e/src/cache/recorder.ts来源核查 2026-10-14