PrismML发布Bonsai 2系列模型，iPhone最高120词元/秒

10月15日，AI公司PrismML公布Ternary Bonsai 2系列模型，提供2B、4B和9B三种规模，主要面向手机、PC及可穿戴设备上的本地AI智能体。模型支持推理、图像识别和工具调用等任务，目标是在资源受限的终端设备上提供更实用的智能体验。

该系列以阿里Qwen 3.5为基础构建，并采用三元权重表示方式，仅使用-1、0和+1三种数值编码模型参数。官方数据显示，2B、4B和9B版本的存储占用分别约为0.43GB、0.95GB和2GB，有利于在本地设备中部署。

Bonsai 2重点优化了本地智能体能力，包括遵循指令、处理日常任务、在移动设备上调用工具，以及减少重复输出。PrismML通过19项基准测试评估智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力。其中，9B模型在标准指令执行和日常数学任务中的所需词元数量约减少40%。

性能方面，PrismML称，在RTX 4090、M5 Pro等硬件上，Bonsai 2相较对应的全精度模型，最高可带来5倍吞吐量和3倍能效。在iPhone 18 Pro Max上，9B模型最高速度为每秒34个词元，2B模型最高可达每秒120个词元。

Bonsai 2系列还可与此前的Bonsai 2 27B共同组成覆盖轻量任务和复杂工作流的产品线。开发者能够通过llama.cpp在英伟达GPU上运行，也可以借助MLX部署到Mac、iPhone和iPad。相关模型权重采用Apache 2.0许可证开放。