Colibri 入门:在磁盘、内存与显存之间加载 MoE 专家
Colibri 快速上手:先检查容量与诊断,再开始对话
按固定源码准备环境,避免在不了解空间需求时启动大规模权重下载。
Colibri 快速上手:先检查容量与诊断,再开始对话知识学习CN编辑简报更新 2026-09-23
你将学会
- 先选模型再估算空间
- 构建或选择匹配发行包
- 生成前先诊断
开始前需要
- 基本 Python 与命令行知识
- 明确的硬件与存储清单
先建立可复现记录,再尝试新的推理优化。
先看结论
- 容量数字与具体模型有关。
- 旧档案示例不代表最新版本。
- 先诊断再评价模型。
先选模型再估算空间
快速入门中的约 16 GB 内存和 380 GB 磁盘针对 GLM-5.2 int4 示例,并非通用要求。其他容器不同,还应给转换临时文件和操作系统保留空间。
下载前确定容器、版本和模型许可。本篇不会自动转换或获取权重;下载现成容器与从源权重转换是两条不同准备路线,不能混为一步。
构建或选择匹配发行包
源码路径是在安装编译器、make 和 OpenMP 支持后进入 colibri/c,审阅并执行 setup.sh。示例固定提交,方便重现阅读对象,而不是追踪不断变化的主分支。
上游也提供预编译档案,但平台可用性随发行版变化。不要把文档旧版 v1.1.0 示例当成当前推荐,应记录真正选择的版本与处理器架构。
生成前先诊断
单独准备合法且受支持的模型目录后,用 coli doctor 检查准备状态,用 coli plan 查看放置策略。确认路径、权限和可用内存后再开始对话。
上游自测说明包含受工具链浮点近似影响的结果范围,这不是本系列得到的测试成绩。遇到意外失败应先排除不完整下载,不急着归因于模型质量。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
估算容器和临时空间。
- 2
审阅固定源码或匹配发行包。
- 3
先运行诊断并检查放置。
可复制示例
bash
git clone https://github.com/JustVugg/colibri.git
cd colibri
git checkout 9d5d05de7f4ccf39840224ed295f292ab8aeb598
cd c
# 检查脚本与依赖后再执行:
./setup.sh
# 模型需另行准备并核对许可:
COLI_MODEL=/path/to/model ./coli doctor
COLI_MODEL=/path/to/model ./coli plan常见问题
示例会下载权重吗?
代码检出与构建示例不包含单独的模型下载或转换命令。
这里执行过 setup.sh 吗?
没有,步骤来自固定版本的上游文档。
资料来源
- Colibri / docs/quickstart.md来源核查 2026-09-23