Colibri: expertos MoE entre disco, RAM y VRAM
Arquitectura de Colibri: mover pesos sin confundir semántica
Separa colocación en memoria, cálculo de inferencia y superficie de control Python.
Qué aprenderás
- Seguir los niveles
- Localizar el control
- Medir el cuello de botella
Antes de empezar
- Conocimientos básicos de Python y terminal
- Inventario de hardware y almacenamiento
Construye trazabilidad antes de intentar otra optimización de inferencia.
Conclusiones clave
- Colocación y cuantización son variables distintas.
- El wrapper pip no es un kernel.
- Aciertos no garantizan velocidad.
Seguir los niveles
El README describe colocación en VRAM, RAM y disco con historial de rutas, caché y prelectura. Expertos frecuentes pueden evitar lecturas repetidas; los fallos de caché aún requieren movimiento.
Colocar pesos no autoriza cambiar precisión o rutas silenciosamente. El proyecto exige evidencia de calidad y corrección. Distingue una política de memoria de otro modelo cuantizado.
Localizar el control
La entrada Python inspeccionada encuentra el directorio c vecino y ejecuta c/coli mediante runpy en el mismo proceso. Conecta instalación y lanzador; no implementa kernels tensoriales.
Lanzador y gateway rodean al motor C. La serie no sigue todos los backends, kernels GPU o familias, por lo que no presenta esta lectura como auditoría completa del motor.
Medir el cuello de botella
Mejorar aciertos de caché puede coincidir con generación más lenta si otra etapa cuesta más. Mide tráfico, cálculo y sincronización junto con latencia completa.
El protocolo pide reproducir el patrón de acceso y declarar caché. Un máximo sintético del SSD no explica por sí solo bloques de expertos con otra profundidad de cola.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Mapea pesos entre niveles.
- 2
Separa control y cálculo.
- 3
Mide etapas y resultado completo.
Ejemplo para copiar
contenedor -> colocación -> RAM / VRAM / disco
entrada Python -> c/coli -> motor
medición -> latencia + bytes + calidadPreguntas frecuentes
¿Más RAM cambia necesariamente la calidad?
Distingue colocación de cambios explícitos de precisión o rutas y verifica la configuración.
¿Se inspeccionaron todos los backends?
No. La traza cubre la entrada Python y arquitectura documentada.
Fuentes
- Colibri / README.mdFuente verificada 2026-09-23
- Colibri / colibri/cli.pyFuente verificada 2026-09-23
- Colibri / docs/benchmarking.mdFuente verificada 2026-09-23