(资料图片)

今日，在 Microsoft Build 2023 开发者大会期间，高通技术公司展示了公司最新的终端侧 AI 创新，包括在骁龙 计算平台上运行生成式 AI，以及开发者在采用骁龙平台的 Windows 11 PC 上创建应用的新路径。

高通和微软确认达成合作关系，将面向消费级和企业级终端、以及工业设备，规模化扩展 AI 能力。Stable Diffusion 作为一款文本生成图像的生成式 AI 模型，参数超过 10 亿，目前已经能够完全在终端侧运行。高通表示，未来几个月内，包括大语言模型（LLM）在内的参数高达 100 亿的模型将有望在终端侧运行。据介绍，终端侧生成式 AI 解决方案将查询和推理转移到 PC 和手机等边缘终端。为了增强高通 AI 软件栈并帮助开发者打造下一代终端侧 AI 体验，高通 AI 引擎 Direct SDK 将在 Microsoft Build 上首次面向公众推出。借助 ONNX Runtime 和高通 AI 软件栈，如今用户在使用 5G 版 Surface Pro 9 和联想 ThinkPad x13s 的时候就可以在其搭载的第三代骁龙 8cx 平台上的 AI 引擎运行 AI 工作负载。

高通技术公司产品管理高级副总裁 Ziad Asghar 表示，为了让生成式 AI 真正为更多人所接受和使用，许多推理工作需要在边缘终端上处理。我们拥有行业领先的 AI 硬件和软件，可以赋能开发者充分利用我们强大的 AI 能力，在搭载骁龙平台的笔记本电脑、手机和其他终端上打造令人惊艳的全新用户体验。

AI 的未来既需要终端侧 AI，也需要云端 AI。在终端侧运行 AI 应用可提升成本效益、增强隐私性、个性化并降低时延。与仅在 CPU 或 GPU 上进行 AI 工作负载处理比较，骁龙平台集成专用的高通 AI 引擎，处理 AI 工作负载可以更加高效，让小巧轻薄的设备也能支持终端侧 AI。微软 Windows 芯片和系统集成公司副总裁 Pavan Davuluri 表示，为了在广泛的终端和应用领域扩展 AI，云端和终端侧处理缺一不可。通过将微软在云端 AI 上的领先优势以及 Windows 平台的能力与高通技术公司的终端侧 AI 专长相结合，我们将加速由生成式 AI 体验所带来的发展机遇。

标签：