Bonsai Demo: inferencia local con un runtime específico
Informe reproducible de inferencia local con Bonsai
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Qué aprenderás
- Congelar el entorno
- Usar prompts fijos
- Mostrar también los límites
Antes de empezar
- Un equipo con memoria y disco medidos
- Permiso para revisar los modelos y binarios descargados
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Conclusiones clave
- La identidad exacta permite reproducir.
- Corrige fallos antes de medir velocidad.
- Lo desconocido permanece sin cifra.
Congelar el entorno
Anota commit del demo, release del fork, nombre y hash del modelo, backend, controlador, OS y dispositivo. Guarda comando y variables efectivas sin secretos.
Empieza por texto en CLI o servidor loopback. Añade visión, UI y herramientas en pruebas posteriores para aislar su efecto.
Usar prompts fijos
Haz las mismas preguntas en orden y conserva respuestas completas con un criterio de aprobación escrito antes. Incluye un caso que descubra salida incoherente de una pareja incompatible.
Cuando sea posible, mide arranque, memoria máxima, tiempo de prefill y generación. Marca lo ausente como no ejecutado; no lo copies de un informe comunitario.
Mostrar también los límites
Guarda logs de arranque fallido, respuestas truncadas y pruebas de funciones no soportadas junto a éxitos. Omitirlos exagera la preparación del sistema.
El formato siguiente es un ejercicio propuesto por EasyAI. El demo no promete generarlo y esta serie no ejecutó el modelo ni un benchmark.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Registra revisiones exactas de demo, binario y modelo.
- 2
Ejecuta prompts fijos y conserva fallos.
- 3
Separa medidas observadas de funciones pendientes.
Ejemplo para copiar
{"commit_demo":"69c3a8beeab80283bfd45cb7b7a6b927075c29fd","archivo_modelo":"registrar","release_binario":"registrar","backend":"registrar","correccion":"sin-ejecutar","memoria_maxima":null}Preguntas frecuentes
¿El demo crea automáticamente el informe?
No. Es un registro sugerido.
¿Qué hacer con HTTP 200 y texto corrupto?
Trátalo como fallo de compatibilidad y revisa binario, formato y transformaciones.
Fuentes
- Bonsai Demo / README.mdFuente verificada 2026-09-29
- Bonsai Demo / MODEL-FORMATS.mdFuente verificada 2026-09-29
- Bonsai Demo / community-benchmarks/bonsai2/README.mdFuente verificada 2026-09-29