谷歌发布LiteRT Tensor API支持端侧模型跨硬件优化

谷歌推出轻量级C++接口LiteRT Tensor API，面向端侧机器学习模型的原生构建、定制与优化。该接口试图在底层开发的控制能力和跨平台部署的可移植性之间取得平衡。

传统C++方案虽然能够让开发者精细控制计算过程，但通常会与Metal、OpenCL或Vulkan等特定后端深度绑定，更换硬件目标时往往需要重写代码。在CPU、GPU和NPU之间实现零拷贝缓冲区共享与同步，并串联预处理、推理和后处理，也需要投入较多开发工作。

LiteRT Tensor API允许开发者以C++逐个算子搭建计算图，从而直接控制模型结构、优化过程和加速器执行；同一份计算图还可借助LiteRT运行在CPU、GPU和NPU上。它支持从检查点直接导入权重，包括Hugging Face使用的.safetensors格式，同时提供预处理、推理和后处理之间的零拷贝缓冲区互操作能力。

该接口也支持AI编码智能体通过生成C++代码来构建、修改、验证和基准测试模型图。谷歌用这种方式制作了多对象分割与跟踪演示，并在搭载Metal的macOS笔记本电脑、iOS手机，以及使用OpenCL的Android手机上运行同一份SAM 2模型代码。在测试中，MacBook Pro上的运行速度约为Apple MLX（fp16，图像编码器加掩码解码器）的1.5倍。

由于模型图完全以C++描述，编码智能体还将SAM 2逐帧判断对象是否仍可见的逻辑从CPU代码迁移到计算图，并把会在WebGPU上触发CPU回退的操作改写为GPU兼容算术运算。Arm AI总监Laurence Moroney表示，开发者通常应先进行模型转换，只有需要图级控制，或希望让预处理和后处理继续留在加速器上时，才有必要采用该C++接口。在WebGPU、512×512分辨率测试中，帧率由不足10fps提升至30fps以上，相关迭代优化均由编码智能体完成。

后续规划包括原生支持ML Drift后端、增加适合NPU的操作、实现自动全图量化，并扩展动态形状能力，以适配不同图像尺寸、批大小和序列长度。