Bonsai Demo 是什么：依赖专用运行时的本地推理演示
Bonsai Demo 快速上手：下载之前先检查脚本
按文档安装，同时让模型服务保持在回环地址。
Bonsai Demo 快速上手：下载之前先检查脚本知识学习CN编辑简报更新 2026-09-29
你将学会
- 核对机器与下载量
- 安装与启动分两步
- 检查回答与日志
开始前需要
- 已确认内存和磁盘容量的设备
- 检查下载模型与二进制文件的权限
记录准确制品和一次正确性失败，再讨论是否可用。
先看结论
- 安装会下载大型外部制品。
- 安装成功不会自动开始服务。
- 连贯输出是兼容性初检。
核对机器与下载量
README 的默认安装会获取 Bonsai 2 PQ2_0 模型和视觉投影文件，可选 Open WebUI 与代码解释器还会增加下载。开始前检查磁盘、内存与文件清单。
阅读固定版本 setup.sh。它会选择平台二进制及模型文件，因此“一条命令完成安装”仍然是会联网的可执行操作；本文未实际运行。
安装与启动分两步
macOS/Linux 的文档路径先克隆仓库执行 `./setup.sh`，再运行 `./scripts/start_llama_server.sh`。README 提供变量，可在小试验中跳过 Open WebUI 和代码解释器。
首次使用保持默认回环地址。记下模型文件、后端、实际上下文设置及监听地址；把服务开放到网络会显著改变安全边界。
检查回答与日志
提出一个有明确答案的问题，再提出一个证据不足的问题。阅读日志中的格式和设备信息，保存完整回答，不要只留截图。
连贯回答只是冒烟检查，不是质量基准。出现乱码时先检查二进制与格式的配对，再调整采样参数。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
阅读 setup.sh，并确认磁盘和内存。
- 2
分开安装与启动回环服务。
- 3
记录模型、运行时、日志和两条回答。
可复制示例
bash
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
BONSAI_OPENWEBUI=0 BONSAI_CODE_INTERPRETER=0 ./setup.sh
./scripts/start_llama_server.sh常见问题
setup 会自动启动聊天服务吗？
README 将安装和后续启动脚本分开。
能跳过可选网页界面吗？
README 提供变量，可跳过 Open WebUI 与代码解释器安装。
资料来源
- Bonsai Demo / README.md来源核查 2026-09-29
- Bonsai Demo / setup.sh来源核查 2026-09-29
- Bonsai Demo / FAQ.md来源核查 2026-09-29