Bonsai Demo 是什么：依赖专用运行时的本地推理演示
Bonsai Demo 是什么：依赖专用运行时的本地推理演示
先区分演示仓库、模型权重与运行时，再判断性能宣传。
Bonsai Demo 是什么：依赖专用运行时的本地推理演示知识学习CN编辑简报更新 2026-09-29
你将学会
- 认清三种制品
- 了解默认路径
- 限定初次试验
开始前需要
- 已确认内存和磁盘容量的设备
- 检查下载模型与二进制文件的权限
记录准确制品和一次正确性失败，再讨论是否可用。
先看结论
- 演示、权重与运行时是独立制品。
- Bonsai 2 当前依赖 PrismML 分叉版本。
- 上游质量数字不是本文测量结果。
认清三种制品
Bonsai Demo 提供安装与启动脚本、可选界面、Agent 示例和 Bonsai 2 27B 文档。模型权重从独立的 Hugging Face 仓库下载。由于标准 llama.cpp 尚未实现所需变换，演示还会获取 PrismML 的分叉版本。
README 展示紧凑三值模型及质量数字，这些属于上游测试声明。本系列审阅固定源码，但没有下载权重或测量模型质量。
了解默认路径
所检查版本中，普通 `./setup.sh` 选择 Bonsai 2 与 PQ2_0 格式，随后由 `start_llama_server.sh` 启动本地接口。安装和开启服务分开，有助于先检查下载内容。
README 还介绍 Apple Silicon 上的 MLX、Open WebUI、工具调用及视觉输入。具体后端是否支持某种格式或功能，要看支持矩阵与实际模型文件。
限定初次试验
第一次试用可以问几道固定文本题，记录模型文件、二进制版本和硬件，并检查输出是否连贯。服务返回 HTTP 200，并不能证明所需模型变换已执行。
后续文章讨论安装、兼容性、源码、性能、安全与选择。上游 README 的速度和质量数字都不会被写成我们的实测结果。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
分开记录演示代码、模型文件与分叉运行时。
- 2
核对设备对应的后端支持矩阵。
- 3
测速之前先设计正确性检查。
可复制示例
text
演示脚本 -> PrismML 分叉二进制
模型仓库 -> PQ2_0 或 PTQ1_0 权重
运行时 + 权重 -> 本地推理 -> 正确性检查常见问题
标准 llama.cpp 能运行 Bonsai 2 吗？
固定版本 README 和支持矩阵要求所有 Bonsai 2 GGUF 使用 PrismML 分叉。
权重包含在 GitHub 仓库里吗？
没有，安装脚本会从另一个发行位置下载。
资料来源
- Bonsai Demo / README.md来源核查 2026-09-29
- Bonsai Demo / MODEL-FORMATS.md来源核查 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.md来源核查 2026-09-29