TesterArmy e2e
TesterArmy e2e 试点：验证轨迹和有意的界面变化
两次运行后再修改 UI，检验缓存动作的边界
TesterArmy e2e 试点：验证轨迹和有意的界面变化知识学习CN编辑简报更新 2026-10-14
你将学会
- 建立安全目标
- 观察前两次运行
- 决定是否进入 CI
开始前需要
- 可丢弃的应用或测试账号
- Web 或移动引擎
- 明确选择的 Agent 模型供应商
两次运行后再修改 UI，检验缓存动作的边界
先看结论
- 缓存命中仍需最终断言。
- 界面变化检验回放限制。
- 进入 CI 需要信任审查。
建立安全目标
使用有可逆流程的可丢弃应用或账号。先写无模型定位器测试，再加入一条限定范围的 `agent.act` 和明确后置条件。
固定 e2e、引擎与模型版本。按团队政策关闭或记录遥测，并明确轨迹与截图存储位置。
观察前两次运行
第一次 Agent 运行记录动作、结果、模型调用和轨迹状态；第二次不改界面，检查是否完成回放及最终断言。
随后有意移动一个按钮但保留业务目标，观察回放是安全地重新定位，还是停止并交回实时步骤。不能把回退直接称作成功。
决定是否进入 CI
检查轨迹差异和日志是否含敏感数据、误通过或意外跳转。启用高权限 CI 前与脚本基线比较。
这只是实验设计，并非我们观察到的结果。固定 README 标注 1.0 前仍在开发，采用时应准备更新和回滚。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
先通过确定性基线。
- 2
运行两次并检查轨迹接纳情况。
- 3
修改 UI 后核对回退与安全性。
可复制示例
yaml
pilot:
target: disposable_app
checks: [no_model_baseline, first_agent_run, replay_run, changed_ui]
trace_review: required
result: not-run常见问题
试点何时完成？
无模型基线、回放尝试、变化后行为和轨迹安全均有记录时。
本文执行了测试吗？
没有，本系列基于固定一手资料，给出可复现实验。
资料来源
- TesterArmy e2e / README.md来源核查 2026-10-14
- TesterArmy e2e / docs/quickstart.mdx来源核查 2026-10-14
- TesterArmy e2e / packages/e2e/src/agent/replay.ts来源核查 2026-10-14
- TesterArmy e2e / packages/e2e/src/cache/recorder.ts来源核查 2026-10-14
- TesterArmy e2e / docs/security.mdx来源核查 2026-10-14
- TesterArmy e2e / docs/telemetry.mdx来源核查 2026-10-14