Bonsai Demo 是什么：依赖专用运行时的本地推理演示
部署 Bonsai：后端、模型文件与网络暴露
共享本地模型接口之前，先把兼容性和资源归属说清。
部署 Bonsai：后端、模型文件与网络暴露知识学习CN编辑简报更新 2026-09-29
你将学会
- 固定兼容组合
- 规划内存与上下文
- 收紧服务入口
开始前需要
- 已确认内存和磁盘容量的设备
- 检查下载模型与二进制文件的权限
记录准确制品和一次正确性失败，再讨论是否可用。
先看结论
- GGUF 后缀不能证明兼容。
- 最大上下文取决于可用资源。
- 网络共享需要额外访问控制。
固定兼容组合
README 表示 Bonsai 2 需要 PrismML 分叉，BACKEND-SUPPORT.md 以固定发布版本记录后端矩阵。保存二进制版本、准确模型文件名、量化格式与加速器，不能只凭“GGUF”扩展名认定兼容。
PQ2_0 和 PTQ1_0 是分叉专用格式。开发中的 Q2_0 文件可能在标准 llama.cpp 加载成功，却因缺少必要变换而输出乱码。因此加载成功不是充分的健康检查。
规划内存与上下文
默认安装会获取 PQ2_0 模型和投影文件；README 的下载量包含的内容多于 MODEL-FORMATS.md 中的权重体积。根据目标机器实际内存设置上下文与 GPU 卸载。
记录本机冷启动、内存峰值和失败情况。公布的上下文上限不能保证你所用机器可以按该长度稳定服务。
收紧服务入口
文档默认 `BONSAI_HOST` 是 `127.0.0.1`；设置为非回环地址会开放服务。共享时应补认证、网络规则与限流，并决定提示词和工具输出是否记日志。
本文没有部署共享接口。正式计划还需进程重启、模型文件完整性、磁盘清理，以及二进制和模型配对的回滚。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
固定二进制、量化格式、文件名和后端。
- 2
在目标机器实测内存与上下文。
- 3
首次试用保留回环绑定。
可复制示例
yaml
运行时：
分叉版本：记录
模型文件：准确名称与哈希
后端：在设备上验证
地址：127.0.0.1
上下文：实测后调高常见问题
模型加载成功就一定正确吗？
不一定。开发版 Q2_0 在标准运行时可能加载后输出乱码。
能直接开放 8080 端口吗？
先设计认证和网络控制；本地试验用默认回环地址更合适。
资料来源
- Bonsai Demo / README.md来源核查 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.md来源核查 2026-09-29
- Bonsai Demo / MODEL-FORMATS.md来源核查 2026-09-29