Paperclip: cómo organizar un equipo de agentes de IA
Evaluar Paperclip: producción útil, coste y trabajo pendiente
Medir por separado el esfuerzo del agente y el tiempo del revisor.
Qué aprenderás
- Contar resultados aceptados
- Conciliar el libro de costes
- Hacer visibles los fallos
Antes de empezar
- Fundamentos de Node.js y agentes
- Una empresa de prueba sin datos sensibles
Pasar de la lectura del código a un ensayo con límites y condición de salida.
Conclusiones clave
- Heartbeats completados son una métrica débil.
- La espera humana puede dominar el plazo.
- El registro de presupuesto necesita conciliación.
Contar resultados aceptados
Sigue las tareas aceptadas por una persona, no solo los heartbeats ejecutados. Registra retrabajo, ejecuciones abandonadas y espera de aprobación para conocer el valor de la coordinación.
Emplea el mismo grupo de tareas antes y después de añadir un segundo agente. Acabar antes pero exigir más limpieza humana no mejora el proceso.
Conciliar el libro de costes
El README describe eventos de tokens y costes por distintos ámbitos. Contrasta la vista mensual con las facturas, luego observa cuándo saltan aviso y parada.
Fija un límite bajo en una empresa ficticia y guarda ventana, eventos de gasto y pausa. Una prueba pequeña no justifica prometer ahorros en producción.
Hacer visibles los fallos
Un heartbeat perdido, una tarea tomada dos veces o una aprobación tardía producen trabajo pendiente. Repórtalos junto a los resultados aceptados.
Esta serie no ejecutó un benchmark. Las métricas son un diseño de evaluación basado en la documentación, no cifras medidas de Paperclip.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Elegir cinco tareas representativas sin datos sensibles.
- 2
Registrar aceptación, retrabajo, espera y coste por tarea.
- 3
Conciliar eventos de política con facturas del proveedor.
Ejemplo para copiar
issue,accepted,rework_minutes,approval_wait_minutes,recorded_cost,provider_costPreguntas frecuentes
¿Qué presupuesto debo fijar?
Depende de tu carga y pérdida tolerable; esta revisión no ofrece un valor universal.
¿Se midieron ahorros aquí?
No. Solo se propone un método de medición.
Fuentes
- Paperclip / README.mdFuente verificada 2026-09-26
- Paperclip / server/src/services/budgets.tsFuente verificada 2026-09-26