TesterArmy e2e
Rendimiento y coste de TesterArmy e2e: medir bien el replay
Distinguir pruebas sin modelo, acciones con modelo y ejecuciones cacheadas
Qué aprenderás
- Contar las llamadas
- Presupuestar todo
- Dejar decision-model como opción
Antes de empezar
- Una app o cuenta de prueba descartable
- Un motor web o móvil
- Una elección deliberada de modelo para pasos de agente
Dos ejecuciones y una modificación deliberada prueban el límite de la caché
Conclusiones clave
- Las rutas tienen costes diferentes.
- El ahorro depende de reutilización verificada.
- La confianza del proveedor necesita contexto.
Contar las llamadas
El README dice que sin pasos de agente no hay modelo. `agent.act` o `agent.assert` usan el proveedor configurado; una traza verificada puede repetir acciones sin nuevas llamadas en otra ejecución.
Son cargas distintas. Compare cada una e indique si la traza se aceptó, se detuvo o volvió al paso vivo. Hablar de ahorro sin tasa de aciertos del replay oculta la condición principal.
Presupuestar todo
Motores web y móviles cuestan tiempo de inicio y observación incluso con cero llamadas al modelo. Navegadores alojados, simuladores o modelos de pago pueden añadir cargos.
Una comparación justa mantiene versión de app, motor, dispositivo y proveedor. Incluya reintentos, aserciones fallidas, artefactos retenidos y tiempo de revisión humana.
Dejar decision-model como opción
El ejecutor de decisiones puede elegir acciones y aserciones semánticas acotadas; confianza y umbrales dependen del proveedor. La guía fijada representa como cero la confianza no informada.
No hicimos benchmark ni verificamos precios. Evalúe corrección y estabilidad antes de ahorrar tokens: una prueba barata que falla mal cuesta mantenimiento.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Registrar base sin modelo.
- 2
Medir llamadas y aciertos del replay en la misma muestra.
- 3
Incluir arranque, reintentos y revisión.
Ejemplo para copiar
run,engine,model_calls,replay_status,elapsed_seconds,provider_cost,review_minutes
baseline,,,,,,not-measuredPreguntas frecuentes
¿La segunda ejecución siempre evita el modelo?
Solo una traza apta y un estado de app suficientemente compatible permiten replay sin modelo.
¿Hace falta motor alojado para rapidez?
Los paquetes alojados son opcionales; mida primero el motor local.
Fuentes
- TesterArmy e2e / README.mdFuente verificada 2026-10-14
- TesterArmy e2e / docs/decision-models.mdxFuente verificada 2026-10-14
- TesterArmy e2e / docs/reference/runner.mdxFuente verificada 2026-10-14
- TesterArmy e2e / packages/e2e/src/agent/replay.tsFuente verificada 2026-10-14
- TesterArmy e2e / packages/e2e/src/cache/recorder.tsFuente verificada 2026-10-14