Colibri: expertos MoE entre disco, RAM y VRAM
Medir Colibri: caché fría, bloques de expertos y controles
Evita presentar velocidad de caché de páginas como rendimiento del disco o del modelo.
Qué aprenderás
- Describir el punto de operación
- Añadir un control independiente
- Publicar calidad y coste juntos
Antes de empezar
- Conocimientos básicos de Python y terminal
- Inventario de hardware y almacenamiento
Construye trazabilidad antes de intentar otra optimización de inferencia.
Conclusiones clave
- Etiqueta la caché caliente.
- La forma de E/S importa.
- Una explicación retractada debe seguir retractada.
Describir el punto de operación
Registra modelo, contenedor, commit, hardware, prompt y tokens. Explica cómo estableciste caché fría o etiqueta la caliente; esta última no equivale a ancho de banda bruto del dispositivo.
Ajusta tamaño, alineación, profundidad de cola y modo de E/S al motor. Bloques pequeños a QD1 y bloques grandes de expertos miden condiciones distintas en el mismo disco.
Añadir un control independiente
El protocolo exige una métrica de control estable. Compilaciones de fondo, otro motor o deriva térmica pueden producir diferencias de rendimiento convincentes pero engañosas.
Conserva una explicación de alineación retractada tras no reproducirse en un ensayo controlado. No repitas ese mecanismo descartado como optimización demostrada ni universalices un resultado de una máquina.
Publicar calidad y coste juntos
Alterna base y candidato, cambia una variable e incluye fallos y dispersión. Mide primer token, throughput, bytes y calidad; calcula costes solo desde tu entorno real.
No se ejecutó un benchmark para esta serie. La tabla queda vacía deliberadamente. Las mediciones del proyecto siguen siendo observaciones atribuidas, no garantías para tu equipo.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Registra modelo, hardware y caché.
- 2
Iguala E/S y añade control.
- 3
Repite ensayos y conserva negativos.
Ejemplo para copiar
trial,model,format,cache_state,request_size,queue_depth,ttft,tokens_per_second,bytes_read,quality
baseline,,,,,,,,,Preguntas frecuentes
¿El máximo del SSD predice generación?
No de forma fiable sin reproducir carga, caché y cálculo.
¿La tabla contiene mediciones?
No. Es una plantilla para un futuro experimento controlado.
Fuentes
- Colibri / docs/benchmarking.mdFuente verificada 2026-09-23
- Colibri / README.mdFuente verificada 2026-09-23