Bonsai Demo: inferencia local con un runtime específico
Arquitectura Bonsai: packing ternario, transformaciones y servidor
Comprender por qué decodificar un formato no implica inferencia correcta.
Qué aprenderás
- Seguir los pesos hasta el cálculo
- Leer la matriz con cautela
- Añadir capas opcionales después
Antes de empezar
- Un equipo con memoria y disco medidos
- Permiso para revisar los modelos y binarios descargados
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Conclusiones clave
- Soporte de formato y de transformaciones difiere.
- La matriz corresponde a una versión concreta.
- Los extras amplían el límite operativo.
Seguir los pesos hasta el cálculo
MODEL-FORMATS.md distingue PTQ1_0, PQ2_0 y un Q2_0 de desarrollo para Bonsai 2. Los pesos usan una base rotada y requieren transformación de activaciones incluida en el fork.
Un backend puede decodificar el formato y carecer de Hadamard o cambios de signo del grafo. Por eso la matriz separa kernels de formato y soporte de transformaciones.
Leer la matriz con cautela
BACKEND-SUPPORT.md registra soporte a nivel de fuente para CPU, Metal, CUDA, ROCm, Vulkan y SYCL en una versión determinada. Las celdas parciales y los fallback importan; un directorio `vulkan` no prueba que todo se calcule en GPU.
La selección del demo es una política, no una prueba completa del dispositivo. Comprueba argumentos efectivos, hardware detectado y respuesta correcta en tu equipo.
Añadir capas opcionales después
El núcleo es preparación, runtime compatible, pesos e inferencia. Open WebUI, herramientas, agente y visión agregan dependencias y permisos separados. Incorporarlos uno por uno facilita localizar errores.
Este mapa procede de fuentes. No reconstruye el entrenamiento completo ni audita los archivos de pesos alojados aparte.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Traza archivo, formato y publicación del fork.
- 2
Verifica kernels y transformaciones en tu backend.
- 3
Añade UI o herramientas tras validar texto.
Ejemplo para copiar
pesos -> decodificacion -> Hadamard y signos
-> grafo -> tokens -> API local
comprobar: formato Y transformacion Y equipoPreguntas frecuentes
¿Por qué Q2_0 puede producir ruido?
Puede cargar en el runtime principal sin las transformaciones Bonsai 2.
¿Descargar PQ2_0 implica Vulkan nativo?
No. La política de selección no prueba soporte nativo.
Fuentes
- Bonsai Demo / MODEL-FORMATS.mdFuente verificada 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.mdFuente verificada 2026-09-29
- Bonsai Demo / README.mdFuente verificada 2026-09-29