Bonsai Demo 是什么：依赖专用运行时的本地推理演示
怎样测 Bonsai：先验证正确性，再讨论速度
设计能发现不兼容的测试，不照搬上游质量与速度数字。
怎样测 Bonsai：先验证正确性，再讨论速度知识学习CN编辑简报更新 2026-09-29
你将学会
- 正确性先行
- 控制测量条件
- 把上游数字归还上游
开始前需要
- 已确认内存和磁盘容量的设备
- 检查下载模型与二进制文件的权限
记录准确制品和一次正确性失败，再讨论是否可用。
先看结论
- 兼容性检查先于速度。
- 基准依赖具体硬件与输入条件。
- 本系列没有产生性能测试结果。
正确性先行
固定一组文本提示，包括简单事实、应表达不确定性的问题，以及符合硬件预算的较长上下文。保存原始输出和模型版本。
如果回答乱码，速度数字没有意义。格式文档警告，某种开发版 Q2_0 可能在标准 llama.cpp 加载，但遗漏必需变换。
控制测量条件
记录 CPU 或 GPU、驱动、后端构建、格式、上下文、输入长度、采样参数、预热和生成量。有条件时分别测提示词处理与生成速度。
社区基准目录收集了不同硬件和模板的投稿。只有模型、配置与负载可比时才横向比较，否则只借鉴其测量方法。
把上游数字归还上游
README 给出质量保持、模型大小和上下文长度等数字。本文没有复现测试；报告中应注明其原始方法，并将本地结果放在独立列。
好的记录包括失败与内存峰值，不只是最快的一次成功。未知项保持空白，等实际运行之后再填写。
如何选择
| 比较维度 | 方案 A | 方案 B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
实施步骤
- 1
测速前运行正确性样例。
- 2
记录硬件、后端、模型与参数。
- 3
分开呈现上游声明、本地时间和失败。
可复制示例
csv
模型文件,后端,设备,上下文,输入token,输出token,预填秒,生成秒,正确性
PQ2_0,,,,,,,,未运行常见问题
EasyAI 测过每秒 token 数吗？
没有，文章仅提供评测设计。
社区基准都能直接比较吗？
不能，先匹配模型文件、硬件、后端与负载。
资料来源
- Bonsai Demo / README.md来源核查 2026-09-29
- Bonsai Demo / BACKEND-SUPPORT.md来源核查 2026-09-29
- Bonsai Demo / community-benchmarks/bonsai2/README.md来源核查 2026-09-29