Bonsai Demo: inferencia local con un runtime específico
Medir Bonsai sin repetir cifras ajenas
Diseñar una prueba capaz de detectar incompatibilidad antes de medir tokens.
Qué aprenderás
- Primero, corrección
- Controlar condiciones
- Atribuir cifras originales
Antes de empezar
- Un equipo con memoria y disco medidos
- Permiso para revisar los modelos y binarios descargados
Registrar artefactos exactos y un fallo de corrección antes de proclamar disponibilidad.
Conclusiones clave
- Compatibilidad precede a rendimiento.
- El benchmark depende del entorno exacto.
- Aquí no se produjo ninguna cifra de velocidad.
Primero, corrección
Usa prompts fijos: respuesta sencilla, caso que requiera reconocer incertidumbre y contexto largo dentro del presupuesto de hardware. Guarda respuestas crudas y versión del modelo.
Si genera texto corrupto, la velocidad carece de valor. La documentación advierte que un Q2_0 de desarrollo puede cargar en llama.cpp principal sin las transformaciones necesarias.
Controlar condiciones
Anota CPU o GPU, controlador, build, formato, contexto, longitud del prompt, muestreo, calentamiento y tokens. Separa prefill de generación cuando el runtime lo informe.
Las contribuciones comunitarias cubren hardware y plantillas diferentes. Compara solo filas con modelo, opciones y carga compatibles; las demás enseñan qué registrar.
Atribuir cifras originales
El README da valores de calidad, tamaño y contexto. Esta serie no los reprodujo. En un informe enlaza método de origen y deja tus medidas en una columna diferente.
Incluye fallos y picos de memoria, no solo la ejecución más rápida. Un dato desconocido permanece vacío hasta medirse.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Prueba corrección antes de velocidad.
- 2
Registra hardware, backend, modelo y ajustes.
- 3
Separa cifras originales de mediciones propias.
Ejemplo para copiar
archivo,backend,equipo,contexto,tokens_entrada,tokens_salida,prefill_s,generacion_s,correccion
PQ2_0,,,,,,,,sin-ejecutarPreguntas frecuentes
¿EasyAI midió tokens por segundo?
No. Presentamos un plan de evaluación.
¿Son comparables todas las tablas comunitarias?
Solo al igualar archivo, hardware, backend y carga.
Fuentes
- Bonsai Demo / README.mdFuente verificada 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.mdFuente verificada 2026-09-29
- Bonsai Demo / community-benchmarks/bonsai2/README.mdFuente verificada 2026-09-29