Colibri: expertos MoE entre disco, RAM y VRAM
Primeros pasos con Colibri: capacidad y diagnóstico antes del chat
Prepara una revisión fija sin iniciar inadvertidamente una descarga enorme.
Qué aprenderás
- Elegir primero el modelo
- Compilar o elegir un archivo compatible
- Diagnosticar antes de generar
Antes de empezar
- Conocimientos básicos de Python y terminal
- Inventario de hardware y almacenamiento
Construye trazabilidad antes de intentar otra optimización de inferencia.
Conclusiones clave
- Las cifras son específicas del modelo.
- Un ejemplo antiguo no es la última versión.
- Diagnostica antes de evaluar calidad.
Elegir primero el modelo
Los aproximadamente 16 GB de RAM y 380 GB de disco de la guía corresponden al ejemplo GLM-5.2 int4. Otros contenedores difieren; reserva espacio temporal y para el sistema operativo.
Decide formato y licencia antes de descargar. Este artículo no obtiene pesos automáticamente. Un contenedor preparado y la conversión de pesos originales son rutas distintas.
Compilar o elegir un archivo compatible
La ruta de fuentes entra en colibri/c y ejecuta setup.sh después de disponer de compilador, make y OpenMP. Fijar el commit hace reproducible la lectura; revisa el script antes de ejecutarlo.
Los archivos precompilados dependen de plataforma y versión. No presentes el ejemplo antiguo v1.1.0 como recomendación actual. Registra el archivo y la arquitectura seleccionados.
Diagnosticar antes de generar
Con un directorio de modelo preparado por separado, usa coli doctor para comprobar requisitos y coli plan para inspeccionar colocación. Verifica ruta, permisos y memoria antes de conversar.
La guía describe un pequeño autotest con empates flotantes dependientes del compilador. No es un resultado obtenido aquí. Investiga descargas incompletas antes de atribuir un fallo a calidad del modelo.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Calcula espacio del contenedor y temporales.
- 2
Revisa fuentes fijas o un archivo compatible.
- 3
Ejecuta diagnóstico antes de conversar.
Ejemplo para copiar
git clone https://github.com/JustVugg/colibri.git
cd colibri
git checkout 9d5d05de7f4ccf39840224ed295f292ab8aeb598
cd c
# Revisar script y requisitos antes de ejecutar:
./setup.sh
# Preparar el modelo y revisar su licencia por separado:
COLI_MODEL=/path/to/model ./coli doctor
COLI_MODEL=/path/to/model ./coli planPreguntas frecuentes
¿El ejemplo descarga pesos?
No incluye la descarga o conversión separada del modelo.
¿Se ejecutó setup.sh aquí?
No. El procedimiento procede de documentación fijada.
Fuentes
- Colibri / docs/quickstart.mdFuente verificada 2026-09-23