Bonsai Demo: inferencia local con un runtime específico
Código de Bonsai: de setup.sh a los lanzadores
Leer la distribución sin atribuir al demo todo el entrenamiento del modelo.
Qué aprenderás
- Inspeccionar decisiones de instalación
- Seguir una llamada local
- Marcar el límite de lectura
Antes de empezar
- Un equipo con memoria y disco medidos
- Permiso para revisar los modelos y binarios descargados
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Conclusiones clave
- El instalador selecciona artefactos externos.
- CLI y servidor pueden usar argumentos diferentes.
- El demo no contiene toda la inferencia.
Inspeccionar decisiones de instalación
setup.sh detecta plataforma y elige binarios, descargas y extras en la revisión fijada. Antes de usarlo, sigue variables de entorno y rutas donde escribe.
Anota contactos externos y archivos en caché. Si repetirlo cambia artefactos, compara hashes y versiones; igual comando no significa igual runtime.
Seguir una llamada local
scripts/run_llama.sh envuelve un prompt de terminal y start_llama_server.sh abre el servicio descrito por el README. Compara binario, modelo y argumentos antes de equiparar CLI y HTTP.
El script de agente introduce más herramientas y permisos. Lee su arranque y configuración antes de permitir comandos o acceso a red.
Marcar el límite de lectura
Los kernels están en otro fork y los pesos en otro repositorio. Los scripts del demo muestran selección y orquestación, no cada operación matemática del modelo.
No ejecutamos estos scripts. Una traza real debe guardar comando, entorno sin secretos, hash del modelo, logs y salida observada.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Abre setup.sh e inventaría destinos de descarga.
- 2
Compara CLI y arranque de servidor.
- 3
Señala repositorios de fork y modelo.
Ejemplo para copiar
setup.sh -> plataforma -> binario y modelo
run_llama.sh -> prompt local
start_llama_server.sh -> API loopback
prueba real -> hashes y logsPreguntas frecuentes
¿Está el entrenamiento completo en setup.sh?
No. Organiza un demo con runtime y pesos separados.
¿Se instrumentó el lanzador aquí?
No. Solo se inspeccionaron scripts fijados.
Fuentes
- Bonsai Demo / setup.shFuente verificada 2026-09-29
- Bonsai Demo / scripts/run_llama.shFuente verificada 2026-09-29
- Bonsai Demo / scripts/agent/run_agent_demo.shFuente verificada 2026-09-29
- Bonsai Demo / README.mdFuente verificada 2026-09-29