Bonsai Demo: inferencia local con un runtime específico
Desplegar Bonsai: backend, archivo y acceso de red
Fijar compatibilidad y recursos antes de compartir un endpoint de modelo.
Qué aprenderás
- Fijar una pareja compatible
- Planificar memoria y contexto
- Restringir el servicio
Antes de empezar
- Un equipo con memoria y disco medidos
- Permiso para revisar los modelos y binarios descargados
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Conclusiones clave
- GGUF no demuestra compatibilidad.
- El contexto depende de recursos disponibles.
- Exponer red exige controles adicionales.
Fijar una pareja compatible
El README exige el fork PrismML y BACKEND-SUPPORT.md sigue una matriz ligada a una publicación. Guarda binario exacto, modelo, packing y acelerador; la extensión GGUF sola no garantiza compatibilidad.
PQ2_0 y PTQ1_0 son específicos del fork. Un Q2_0 de desarrollo puede cargar en llama.cpp principal y aun así producir texto erróneo porque faltan transformaciones. Cargar el archivo no basta como prueba de salud.
Planificar memoria y contexto
La instalación trae modelo PQ2_0 y proyector. La cifra de descarga del README incluye más elementos que la cifra de pesos de MODEL-FORMATS.md. Ajusta contexto y offload según RAM y VRAM reales.
Mide arranque en frío, pico de memoria y fallos en tu hardware. El máximo de contexto anunciado no asegura que tu equipo pueda servirlo de forma estable.
Restringir el servicio
BONSAI_HOST vale `127.0.0.1` por defecto; otra dirección expone el servidor. Una instalación compartida necesita autenticación, red limitada, control de tasa y una política para logs de prompts y herramientas.
Esta serie no desplegó un endpoint compartido. Producción también necesita reinicio, integridad de archivos, limpieza y reversión de la pareja binario-modelo.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Fija binario, packing, archivo y backend.
- 2
Mide memoria y contexto en el equipo final.
- 3
Comienza con dirección loopback.
Ejemplo para copiar
runtime:
fork: registrar-version
modelo: nombre-y-hash
backend: verificar-en-equipo
host: 127.0.0.1
contexto: aumentar-tras-medirPreguntas frecuentes
¿Cargar un modelo confirma su corrección?
No. El Q2_0 de desarrollo puede cargar sin transformaciones y generar texto incoherente.
¿Puedo publicar directamente el puerto?
Revisa autenticación y red; la dirección local es apropiada para la primera prueba.
Fuentes
- Bonsai Demo / README.mdFuente verificada 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.mdFuente verificada 2026-09-29
- Bonsai Demo / MODEL-FORMATS.mdFuente verificada 2026-09-29