MNN团队开源0.3B手机模型，iPhone 18 Pro离线达350token/s

淘宝旗下MNN团队发布了面向手机应用的MNN-Pocket-0.3B模型，目标是在有限算力、内存和能耗条件下兼顾模型能力、响应速度与持续运行体验。其设计指标包括解码吞吐超过200token/s、峰值内存低于300MB，并将典型负载下100次推理的增量能耗控制在手机电池总能量的1%以内；能力方面则以特定业务场景达到8B级模型效果为目标，覆盖中英文理解、知识、数学、代码推理和指令遵循等任务。

该模型由团队从零设计和训练，参数规模约3亿，模型结构、词表、数据、预训练、后训练、量化方案及推理引擎均进行协同优化，面向淘宝等综合型手机应用以及开源开发者提供易于部署的基础模型。

在iPhone 18 Pro真机测试中，MNN-Pocket-0.3B通过MNN推理引擎完全离线运行，平均Decode速度约为350token/s。其INT4 MNN部署文件大小仅173MB，包含模型权重、分词器、计算图和推理配置。

在iPad Pro M5的Metal后端、512token配置下，模型加载和推理期间的峰值Metal驻留内存较加载前增加228MB。对比之下，Qwen3-0.6B部署文件为340MB，峰值内存增量为427MB；前者的部署体积和内存增量分别减少约49%和47%，有助于降低下载、更新及应用集成成本，并为页面、图片和视频等模块释放更多资源。

团队还在苹果和Android设备上使用Metal、OpenCL及CPU后端进行测试，统一采用MNN 3.6.2和INT4量化，每组配置预热一次、测量五次并取吞吐中位数。在iPad Pro M5/Metal、512token条件下，Prefill吞吐为8721token/s，Decode吞吐为466token/s，是同条件Qwen3-0.6B的286token/s的1.63倍；在骁龙8 Gen 5 CPU后端，Decode速度为251token/s。

架构筛选以峰值内存低于300MB、Decode超过200token/s为约束，团队测试了约5000万至13亿参数的稠密模型，约3亿参数是同时满足两项要求的最大规模。在相近参数量下，层数从16层增加到28层可提升能力，继续增至36层后平均评测分未提高，Decode却由355token/s降至323token/s，因此最终采用28层结构，并结合分组查询注意力平衡性能与效率。

模型重点支持中文和英文，基于Qwen3分词器将词表从约151K缩减至64K，减少约57%，以降低词嵌入、输出层存储及生成阶段投影开销。在一加13的骁龙8至尊版上，4-bit模型以CPU四线程运行、输入1024、输出128进行测试，扣除闲置功耗后，三轮平均增量能耗约2.7J；按6000mAh电池计算，100次同等任务约消耗电池总能量的0.3%。

评测中，模型英文IFEval得分为73.20，中文IFEval-zh得分为74.59，均在对比模型中最高；覆盖中英文知识、推理、数学、代码和指令遵循的11项测试平均分为50.00，高于报告中的同规模模型及MiniCPM4-0.5B、Qwen3-0.6B等更大模型，其中中文MGSM数学得分51.20，HumanEval代码生成得分53.66。

开源内容覆盖多个阶段：Base版用于继续预训练和领域适配，SFT版面向后训练、强化学习、蒸馏及消融实验，通用版用于指令调用和业务适配；MNN版是W4A16 QAT端侧部署版本，特定设备Decode可达466token/s；DFlash2版作为投机解码草稿模型，特定任务吞吐可达常规自回归解码的2.06倍；Dec版则通过决策头完成候选选择类任务。相关代码和模型入口已发布于GitHub的alibaba/mnn项目。