Bonsai Demo: inferencia local con un runtime específico
Primer uso de Bonsai: revisar descargas antes de inferir
Seguir la preparación documentada manteniendo el servidor en loopback.
Qué aprenderás
- Comprobar máquina y tamaño
- Separar instalación y arranque
- Revisar respuesta y logs
Antes de empezar
- Un equipo con memoria y disco medidos
- Permiso para revisar los modelos y binarios descargados
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Conclusiones clave
- La instalación baja artefactos grandes.
- Preparar no inicia automáticamente el servidor.
- La coherencia es una primera prueba de compatibilidad.
Comprobar máquina y tamaño
La instalación estándar descarga el modelo PQ2_0 y un proyector de visión. Open WebUI e intérprete opcionales añaden más archivos. Revisa disco, RAM y lista de descargas antes de empezar.
Lee setup.sh en la revisión fijada. Selecciona binarios y modelos según plataforma; una instalación de un comando sigue siendo una operación ejecutable que usa la red. No la corrimos aquí.
Separar instalación y arranque
El README para macOS y Linux indica clonar, ejecutar `./setup.sh` y luego `./scripts/start_llama_server.sh`. Documenta variables para omitir los extras durante una prueba pequeña.
Mantén la dirección loopback inicial. Registra archivo de modelo, backend, contexto efectivo y dirección de escucha. Abrir el servidor a otras máquinas cambia los controles necesarios.
Revisar respuesta y logs
Haz una pregunta factual y otra sin evidencia suficiente. Mira en los logs formato y dispositivo cargados, y conserva la respuesta completa.
Una respuesta legible es una prueba básica, no un benchmark. Si hay texto incoherente, verifica pareja binario-formato antes de cambiar el muestreo.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Lee setup.sh y comprueba recursos.
- 2
Instala y luego inicia el servidor local.
- 3
Anota modelo, binario, logs y dos respuestas.
Ejemplo para copiar
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
BONSAI_OPENWEBUI=0 BONSAI_CODE_INTERPRETER=0 ./setup.sh
./scripts/start_llama_server.shPreguntas frecuentes
¿setup abre el chat automáticamente?
El README separa preparación y script de arranque.
¿Puedo omitir la interfaz?
Hay variables documentadas para excluir Open WebUI e intérprete.
Fuentes
- Bonsai Demo / README.mdFuente verificada 2026-09-29
- Bonsai Demo / setup.shFuente verificada 2026-09-29
- Bonsai Demo / FAQ.mdFuente verificada 2026-09-29