CLI-Anything: dar a un agente acceso a software real
Evaluar CLI-Anything: contar archivos válidos
Medir creación, inspección y corrección del resultado nativo.
Qué aprenderás
- Definir tareas
- Medir todas las capas
- Comparar con trabajo manual
Antes de empezar
- Paquetes de Python
- Una aplicación gráfica con backend real y licencia clara
Completar una prueba estrecha antes de publicar un comando comunitario.
Conclusiones clave
- El denominador son artefactos válidos.
- Instalación y revisión cuentan como coste.
- Las cifras generales no son pruebas locales.
Definir tareas
Elige cinco operaciones de una aplicación: crear, editar, exportar, reabrir y revisar. Para cada una, define una propiedad comprobable por persona o parser independiente.
El README presenta cifras agregadas de pruebas del proyecto. No demuestran que tu harness funcione con tu sistema operativo y versión de aplicación.
Medir todas las capas
Registra duración y fallos de generación, backend, validación y corrección humana. Incluye instalación y preparación de dependencias.
Un comando que sale con cero pero deja un archivo corrupto falla. También falla un preview bonito con exportación final rota.
Comparar con trabajo manual
Una persona debe realizar las mismas tareas en la interfaz gráfica. Comprueba si la CLI acelera sin añadir revisión oculta.
Aquí no se ejecutó benchmark ni aplicación gráfica. Es un protocolo de medida, no una nota global para CLI-Anything.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Definir cinco tareas y propiedades esperadas.
- 2
Guardar resultado, hash y prueba de apertura en GUI.
- 3
Comparar corrección total con trabajo manual.
Ejemplo para copiar
task,backend_exit,artifact_opened,review_minutes,total_costPreguntas frecuentes
¿Qué exportación cuenta como válida?
La que abre en la aplicación y supera pruebas de contenido.
¿Se reprodujeron las cifras del README?
No; siguen siendo afirmaciones del proyecto.
Fuentes
- CLI-Anything / README.mdFuente verificada 2026-09-26
- CLI-Anything / cli-anything-plugin/HARNESS.mdFuente verificada 2026-09-26