i-have-adhd: respuestas legibles, adaptadores y evidencia
Mide i-have-adhd sin confundir respuestas cortas con menor coste
Contabiliza contexto, salida, reintentos y evaluación; interpreta la puerta fallida del informe original sin seleccionar solo mejoras.
Qué aprenderás
- Define qué quieres ahorrar
- Lee la evaluación original como un informe limitado
- Limpia la referencia y fija previamente la puerta
Antes de empezar
- Conocimientos básicos de Git y terminal
- Distinguir comportamiento observado de afirmaciones no probadas
Explicar el mecanismo, preparar una prueba reversible e interpretar evidencia sin confundir estilo y corrección.
Conclusiones clave
- Lectura, latencia y coste requieren mediciones separadas.
- El informe original registra una puerta de publicación fallida.
- Una referencia contaminada no demuestra mejora.
Define qué quieres ahorrar
Esfuerzo de lectura, latencia y cargos del proveedor son resultados distintos. Una respuesta corta puede omitir un requisito y provocar otro turno. Las reglas añaden contexto de entrada; su almacenamiento en caché y facturación dependen del servicio real. Ni el tamaño del repositorio ni el número de reglas establecen un porcentaje de ahorro.
Prepara un registro por tarea de tokens de entrada y salida, reintentos, llamadas de evaluación y tiempo. Mantén modelo, versión del anfitrión, tarea y configuración constantes. Conserva como desconocidos los valores no medidos. Las pruebas aisladas no llaman a proveedores ni miden latencia del modelo o tiempo de finalización de lectores reales.
Lee la evaluación original como un informe limitado
RESULTS.md describe catorce casos y tres ensayos, con la misma familia de modelos generando y juzgando. Comunica una puntuación ponderada mayor, pero una puerta de publicación fallida porque quedan bloqueos. Identifica un caso sin herramientas que no puede cumplir su requisito de acción y una regresión de éxito parcial con una causa afirmada sin pruebas.
Estos hallazgos impiden concluir que toda respuesta mejora. Un promedio favorable puede coexistir con fallos en una tarea importante para ti. No reprodujimos generación ni evaluación, no verificamos facturas ni validamos el identificador de modelo comunicado. La tabla es un informe de los mantenedores, no nuestro benchmark independiente.
Limpia la referencia y fija previamente la puerta
La documentación advierte que always-on personal puede inyectar reglas candidatas en la condición de referencia. El aislamiento forma parte del diseño experimental, no solo de la higiene de instalación. Registra las fuentes de configuración, fija explícitamente el modelo y comprueba que ambas condiciones contienen exactamente las mismas tareas.
Elige criterios antes de mirar puntuaciones: conservar detalles, evitar causas no sustentadas y rechazar errores bloqueantes aunque mejore la legibilidad media. Si un caso es imposible con las herramientas permitidas, corrige el experimento y repite ambas condiciones, en vez de eliminar filas incómodas. No se lanzó ninguna evaluación de pago para este artículo.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Especifica un resultado y cómo medirlo.
- 2
Fija tareas, modelos, versiones y configuración.
- 3
Registra entrada, salida, reintentos y evaluación por separado.
- 4
Revisa bloqueos antes del promedio.
Ejemplo para copiar
{
"taskId": "misma-tarea",
"inputTokens": null,
"outputTokens": null,
"retries": null,
"judgeCost": null,
"readerCompletionSeconds": null,
"independentlyMeasured": false
}Preguntas frecuentes
¿Cuánto dinero ahorra?
Esta serie no dispone de una medición independiente del ahorro.
¿Puedo citar solo la puntuación mejorada?
Eso omite la puerta fallida, los bloqueos y las limitaciones necesarias para interpretar el resultado.
Fuentes
- i-have-adhd / evals/README.mdFuente verificada 2026-09-12
- i-have-adhd / evals/RESULTS.mdFuente verificada 2026-09-12
- i-have-adhd / evals/rubric.mdFuente verificada 2026-09-12