产品派
返回

Arm发布AI Portal统一AI部署入口

AIInfoQ 中文站2026/9/14 22:00:45
AI 导读

Arm在Create开发者大会上海站发布AI Portal,定位为面向开发者和智能体的统一入口,用于在Arm计算平台上发现、优化和部署AI软件。该平台覆盖云端、边缘侧以及物理AI设备,目标是减少开发者在模型选择、目标硬件判断、部署方式和优化流程上的时间成本。

随着AI应用从单纯调用云端大模型,逐步进入手机、PC、汽车、机器人、IoT设备和企业本地环境,开发者需要处理更复杂的约束:模型该放在云端还是端侧,延迟、内存和功耗是否可接受,同一应用跨硬件平台运行时是否需要重新适配。Arm开发者关系副总裁Shantu Roy表示,单一模型覆盖从云到边缘的所有场景并不现实,不同任务通常需要不同模型和部署位置。

AI Portal并非只是模型目录,而是把模型、运行时、性能数据、代码示例和部署工作流集中组织起来,帮助开发者更快判断模型是否适合目标设备。首批支持的AI负载包括语言、语音、视觉和神经图形,预优化模型涵盖阿里巴巴通义千问、Google Gemma和Ultralytics YOLO,运行时包括ExecuTorch、LiteRT和ONNX Runtime,合作方包括阿里巴巴、树莓派和Ultralytics。相关资源已在Hugging Face和developer.arm.com提供,后续还将登陆ModelScope。

Shantu Roy还解释了AI Portal与Arm KleidiAI的区别:KleidiAI更偏向底层性能优化,帮助开发者调用CPU在矩阵计算等场景中的硬件能力;AI Portal范围更广,提供面向平台优化的模型、学习材料、性能数据和部署指引,更接近AI时代的软件生态入口。

Arm公布的优化案例显示,Qwen3-TTS在vivo X300上借助第二代Arm可伸缩矩阵扩展SME2加速,速度提升超过4倍;Ultralytics YOLO26在同款设备上依托SME2,单线程FP16相较FP32性能提升超过40%;在树莓派5上,利用NEON技术并采用FP16与INT8混合量化方案,相比FP32同样获得超过40%的性能提升。这些结果表明,端侧AI体验高度依赖量化、算子适配和硬件特性调用。

Arm强调AI Portal还要服务自动化开发流程。随着Coding Agent和智能体工作流参与更多软件开发环节,模型与部署资源不仅要方便人类阅读,也需要被机器发现和调用。AI Portal相关资源将支持通过模型上下文协议MCP供编程智能体访问,使智能体能够直接查询适合特定平台的模型、性能数据和优化路径。

ArmAI部署边缘计算开发者工具

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文