TesterArmy e2e
TesterArmy e2e 安全与运维：动作以你的权限运行
检查模型可见数据、轨迹来源、遥测和失败产物
TesterArmy e2e 安全与运维：动作以你的权限运行知识学习CN编辑简报更新 2026-10-14
你将学会
- 保护凭据与应用数据
- 把轨迹视作输入
- 检查网络与保留
开始前需要
- 可丢弃的应用或测试账号
- Web 或移动引擎
- 明确选择的 Agent 模型供应商
两次运行后再修改 UI，检验缓存动作的边界
先看结论
- 应用可把被遮盖的秘密显示出来。
- 无签名轨迹需要审阅。
- 文档中的 CLI 遥测可关闭。
保护凭据与应用数据
安全指南描述了避免把凭据直接送进模型文本的秘密输入路径，但也警告应用可能把秘密显示到界面。模型会看到观察结果、脱敏 URL 和此前测试步骤。
测试 Agent 仍可能跳到其他站点或触发破坏性控件。使用可丢弃账号、来源限制和最小权限；先用合成数据验证选定秘密输入路径。
把轨迹视作输入
录制项会保存输入值，秘密输入例外。指南指出轨迹没有签名，且以你的权限回放；录制器还会把被污染值标记为不可回放。
像审阅测试代码一样审阅轨迹变更。不要因为文件看似只是性能缓存，就把不可信轨迹交给高权限 CI。
检查网络与保留
安全指南列出被测应用、模型供应商和可选遥测端点；README 提供 `npx e2e telemetry disable` 或 `E2E_TELEMETRY_DISABLED=1` 关闭遥测。
上线前核对遥测字段清单和自己的产物存储。本系列没有审计实现、测试数据外泄抵抗力或验证结果删除。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
使用可丢弃目标与最少凭据。
- 2
高权限 CI 前审查轨迹和 PR 代码。
- 3
明确遥测与产物保留策略。
可复制示例
text
test account -> app under test -> observed screen -> model
secret fill -> masked path, but app output still needs review
recording -> code review -> privileged replay常见问题
秘密输入保证模型看不到凭据吗？
不保证，安全指南提醒应用输出仍可能暴露秘密。
能关闭 CLI 遥测吗？
固定 README 给出了命令和环境变量。
资料来源
- TesterArmy e2e / README.md来源核查 2026-10-14
- TesterArmy e2e / docs/security.mdx来源核查 2026-10-14
- TesterArmy e2e / docs/telemetry.mdx来源核查 2026-10-14
- TesterArmy e2e / packages/e2e/src/cache/recorder.ts来源核查 2026-10-14
- TesterArmy e2e / packages/e2e/src/agent/replay.ts来源核查 2026-10-14