谷歌推出轻量级C++接口LiteRT Tensor API，简化端侧模型跨平台部署

2026-11-13 · 3 分钟阅读

谷歌推出轻量级 C++ 接口 LiteRT Tensor API，允许开发者以逐算子方式构建计算图，兼顾原生开发的灵活性与跨平台可移植性，同一计算图可在 CPU、GPU 和 NPU 上运行，无需针对新硬件重写。该 API 还支持直接导入权重（含 Hugging Face 的 .safetensors 文件）、零拷贝缓冲区互操作，并兼容 AI 编码智能体。谷歌用同一份 SAM 2 模型 C++ 代码在 macOS 笔记本、iOS 手机和 Android 手机上测试，称在 MacBook Pro 上比 Apple MLX（fp16）快约 1.5 倍。Arm AI 总监 Laurence Moroney 建议开发者先从模型转换入手，仅在需要图级控制或希望预处理和后处理保留在加速器上时再使用该 API。谷歌计划后续支持 ML Drift 后端、更多 NPU 友好操作、自动全图量化及动态形状。