Bonsai Demo 是什么：依赖专用运行时的本地推理演示
Bonsai 架构：三值格式、模型变换与服务
理解为什么仅支持量化文件格式还不足以正确推理。
Bonsai 架构：三值格式、模型变换与服务知识学习CN编辑简报更新 2026-09-29
你将学会
- 沿权重进入计算路径
- 谨慎阅读后端矩阵
- 逐层增加可选能力
开始前需要
- 已确认内存和磁盘容量的设备
- 检查下载模型与二进制文件的权限
记录准确制品和一次正确性失败，再讨论是否可用。
先看结论
- 格式支持与模型变换支持不同。
- 后端表属于某个版本，不覆盖所有设备。
- 可选界面和工具扩大系统边界。
沿权重进入计算路径
MODEL-FORMATS.md 区分 Bonsai 2 的 PTQ1_0、PQ2_0 和开发中的 Q2_0。权重保存在旋转基底中，推理需要 PrismML 分叉包含的激活变换。
某后端即使能解码量化格式，也可能缺少模型图所需的 Hadamard 和符号翻转操作。所以支持矩阵将格式内核与变换支持分开列出。
谨慎阅读后端矩阵
BACKEND-SUPPORT.md 针对固定分叉版本列出 CPU、Metal、CUDA、ROCm、Vulkan 和 SYCL 的源码级支持。部分支持与回退路径很重要；目录名为 `vulkan` 不代表所有计算都在 GPU。
演示的选择逻辑只是一种策略，不是完整的能力探测。应在目标硬件检查启动参数、实际设备与正确性。
逐层增加可选能力
核心本地流程是安装、兼容运行时、权重和推理。Open WebUI、工具、Agent 示例和视觉输入各自增加依赖与权限；一次加一层便于定位失败。
这是一张基于源码的架构图，只描述可查证的推理路径；不重建完整训练流程，也没有审计独立托管的权重文件。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
从模型文件追到格式和分叉版本。
- 2
同时确认后端格式与变换支持。
- 3
文字推理正常后再添加 UI 或工具。
可复制示例
text
权重 -> 格式解码 -> Hadamard/符号翻转
-> 模型图 -> 生成 token -> 本地接口
检查：格式 + 变换 + 设备常见问题
为何标准 llama.cpp 的 Q2_0 可能乱码？
文档称文件可以加载，但缺少 Bonsai 2 所需变换。
下载 PQ2_0 就证明 Vulkan 原生支持吗？
不能。选择策略与原生后端支持是两件事。
资料来源
- Bonsai Demo / MODEL-FORMATS.md来源核查 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.md来源核查 2026-09-29
- Bonsai Demo / README.md来源核查 2026-09-29