近年来, 生成式 AI 迅猛发展, 从文生文、文生图、图生视频再到今年非常火热的 AI 智能体, 各种生成式 AI 应用的涌现, 不断刷新人们的使用体验。在这样的趋势下, 如何降低生成式 AI 的使用门槛, 让更多的人随时随地都能体验, 真正实现生成式 AI 普惠大众, 所有这些, 引起了广泛的关注与讨论。
在最近举办的 QCon 全球软件开发大会上, 高通公司 AI 产品技术中国区负责人万卫星应邀发表演讲时谈到, 生成式 AI 已经改变了我们对终端设备的一些操作方式, 比如在智能手机、汽车上, 人们可以用自然语言与设备进行交互。另外在个人电脑 (PC) 上, 会议总结、文字润色等应用也能够提升用户的使用体验。他认为, 大部分的生成式 AI 用例都可以完全在终端上运行, 并且, 终端侧 AI 在性能和效率、隐私和安全、成本等方面也具有诸多优势。在端侧进行 AI 推理, 是推动生成式 AI 规模化扩展的一个重要因素。
另一方面, 在众多先进技术的推动下,AI 模型可以做得更小、更高质量。万卫星在演讲过程中引用第三方机构的数据指出, 今年 2 月,DeepSeek 发布了 DeepSeek R1 模型, 而用 DeepSeek R1 蒸馏出来的通义千问 7B 模型版本, 在某些基准测试中表现出来的能力已经与去年 5 月发布的 GPT-4o 相当。他表示, 如今, 基于终端侧 AI 的小模型数量越来越多, 同时模型的质量也在快速提升。
高通是终端侧 AI 的引领者, 在 AI 领域有着超过 15 年的研发经历, 推出了一系列行业领先的硬件和软件解决方案, 涵盖了数十亿台智能手机、汽车、XR 头显和眼镜、PC 以及工业物联网终端等。例如在智能手机领域, 高通在去年第三季度发布了全新的骁龙 8 至尊版, 采用了一系列领先技术, 包括第二代定制的高通 Oryon CPU、全新切片架构的高通 Adreno GPU 和增强的高通 Hexagon NPU, 可以直接在终端侧提供个性化的多模态生成式 AI, 支持语音、情境和图像理解, 从而全面增强从生产力到创意任务等各方面的体验。
在 CPU、GPU、NPU 等硬件之外, 高通还构建了强大的 AI 软件栈, 对开发者经常使用的一些主流 AI 框架, 例如 TensorFlow、PyTorch 等, 都能提供支持。高通 AI 软件栈包括库 (libraries)、SDK 和优化工具, 可简化模型部署并提升性能。开发者可以利用这些资源面向高通平台进行模型适配, 缩短 AI 赋能应用的上市时间。在这方面, 高通采取开发者为中心的策略, 通过简化在消费和商用产品中集成先进 AI 特性的过程, 不断加速创新。
演讲过程中, 万卫星还介绍了高通 AI Hub, 可以在云端为开发者提供应用开发所需要的硬件、开发环境、AI 预优化模型库等, 使开发者仅需要几分钟、写几行代码就能完成端到端的模型选择和应用开发。借助预优化模型库和支持定制模型优化与集成等特性, 高通 AI Hub 能够支持广大产业伙伴及开发者缩短开发周期, 共同推动生成式 AI 在终端侧加速规模化扩展。万卫星透露, 目前已经有超过 1500 家企业使用高通 AI Hub, 支持的 AI 模型超过 150 个, 其中既有传统的 CNN 网络等, 也有近年来非常流行的一些生成式 AI 模型。
公开信息显示, 目前包括小米、荣耀、OPPO 等在内, 很多中国厂商已采用骁龙 8 至尊版推出了各自的旗舰手机, 能够为消费者提供丰富的生成式 AI 体验。在 PC 领域, 搭载骁龙 X 系列平台的 AI PC 产品也已经超过 80 款, 可以为用户带来工作效率的显著提升。此外在汽车、XR 等行业, 高通也与广大产业伙伴深入合作, 共同推动终端侧 AI 规模化发展。
万卫星认为, 随着终端侧的 AI 处理能力变得越来越强和大量高质量小模型的涌现, 再加上终端侧运行 AI 模型在隐私安全、时延、使用成本等方面表现出的诸多显著优势,AI 推理正在从中心云向边缘侧和终端侧扩展, 终端侧 AI 推理时代已经到来。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。