这两年,智能手机的功能越来越全面也越来越出色,并且已经足以取代一些以往和我们生活工作息息相关的事物,例如照相机、计算器、报纸、电视、收音机、游戏掌机等等,更重要的是,它不仅仅是这些被取代的工具的集合,而是一个更智慧的整体,并正在学习如何像一个了解你的人一样,在适当的时候提供帮助。实现这一点,有赖于AI人工智能技术的成熟以及在智能手机上的深入应用。
事实也是如此,AI在手机上的应用是这几年的大趋势,利用AI,智能手机在拍照、系统性能和功能、语音助手、多媒体内容处理等方面的表现都有了显著的突破,特别是未来5G真正普及到智能手机终端时,AI强大的智慧处理能力配合高速率低时延的网络,将发挥出巨大的能量。
话虽如此,AI在智能手机中究竟如何应用?其实还要归结于芯片。人工智能,本质上是一种模拟人类大脑自然思考方式的算法,是算法就需要配合硬件的运算能力,一定程度上可以这么说,AI运算能力越强的芯片,手机的智慧程度理论上就可以越高。
也许是看到了AI技术应用的前景以及AI芯片的关键作用,鲁大师近期发布了2019年上半年手机AI芯片排行榜,这份排行榜列出了目前排名前十的智能手机AI芯片,其中前三名分别是高通骁龙855、苹果A12 Bionic和联发科Helio P90。其中高通骁龙855凭借47438分拔得头筹,另外值得关注的是,除了第二、三、四名,这份榜单中的其他位置均被高通骁龙芯片占据着,表现十分亮眼,可以看出高通正在着力推动AI发展,布局AI芯片。
AImark2.0能否代表AI性能?
根据鲁大师的介绍,榜单中的跑分成绩是基于全新的AImark 2.0跑分平台,采用全新的体系和算法。那么,这里的AImark究竟是怎样的呢?IT之家了解到,这其实是鲁大师自主推出的AI性能评测软件,它采用较为常用的神经网络特定算法,机器识别图片内容,按照概率高低输出可能的结果列表。最终通过识别速度来判断手机AI性能,进而给出行测试评分。
在AImark 2.0中,采用的算法分别为Inception V3、ResNet34神经网络模型,以及MobilenetSSD、DEEPLABV3+测试项。
Inception V3、ResNet34都是深度学习神经网络的训练模型,其中Inception V3是Google开发的一个开源神经网络模型,是Inception模型家族的一个版本,它是一种旨在设计具有优良局部拓扑结构网络的模型算法;而ResNet 34(残差网络)是由微软研究院四名华人提出的神经网络模型,这种算法的特点是能够解决深度学习网络层数增加时带来的退化问题。而MobilenetSSD是一种流形的目标检测算法,目前在手机AI中有广泛的应用,如图像中的前景目标提取检测等。而DEEPLABV3+是目前DeepLab中最新的、执行效果最好的语义图像分割模型,通俗来讲,可以理解为AI“抠图”能力的判断。
当然,IT之家在这里只是为大家做一个简单的介绍,至于具体的算法,不是我们能够理解的。但总的来说,它们的综合结果是能够代表一款AI芯片的算力的。
既然如此,那我们就来看看骁龙855移动平台何以成为目前最强的手机AI芯片了。
手机AI芯片的基本原理
在分析骁龙855移动平台之前,我们首先需要对上述不同的AI芯片做一个梳理,了解它们的不同,才能更深刻的理解骁龙855 AI能力的独特之处。如果我们给他们分类,那么可以分为两类,一类是高通的移动平台,另一类是苹果、联发科和海思麒麟的AI芯片,分类的标准是有无采用专门的AI芯片核心。
在AI芯片领域有一个段子,说谷歌大脑项目用了1.6万个CPU核跑了7天才完成猫脸识别。这个段子意在说明,面对AI运算,传统的CPU和GPU单独作战的效率是十分低下的,如果用这么慢的速度去处理AI运算,那是不可想象的,所以我们需要能够专门进行神经网络运算的核心,并让这个核心和CPU以及GPU很好地结合在一起。这是最直接的想法,这个神经网络运算单元也就是NPU。
神经网络算法和传统的整数、浮点运算不同,它是一种“教”设备如何识别事物的算法,所以CPU或GPU很难搞定——但是,计算机的运算,归结到最基础的运算机制,都是相通的,所以,这里说CPU或GPU很难搞定,并不是说他们搞定不了,运算是能运算的,就是速度太慢了。针对这个问题这里有两个办法,一是让NPU负责神经网络运算,像苹果、联发科以及海思麒麟的解决方案那样,二是让CPU、GPU运行神经网络算法的效率高起来。
高通骁龙855移动平台采用的就是第二个路子。具体怎么做呢?调用不同的内核做异构运算,所谓“人多力量大”。
那么调用哪些内核做异构运算呢?答案就是CPU、GPU和DSP(Hexagon处理器),这三种核心分别擅长不同的运算,CPU擅长逻辑控制与串行运算,GPU擅长大规模的并行运算,在浮点运算、并行计算等方面的性能可以说是CPU的数十倍乃至上百倍,Hexagon处理器擅长多线程与平行运算,而DSP中的Hexagon张量加速器特别擅长高开销等级的矩阵乘法运算。而深度学习算法需要融合传统的高性能串行计算和新兴的并行运算,在智能手机这种移动终端中也包含大规模的乘法运算,所以高通骁龙这种异构运算的思路其实也是很契合深度学习的运算需求的。特别是Hexagon向量处理器的引入,其设计之初就是针对异构运算的场景,并且非常擅长在低功耗下处理声音、图像增强功能以及高级摄像头和传感器信号处理等涉及向量数学的应用工作负载。
所以,协调好CPU、GPU和DSP(Hexagon处理器)的工作内容,让他们在各司其职、各行其长的基础上通力合作,不仅解决了单一核心不擅长神经网络运算的问题,还能起到1+1+1>3的效果。他们之间可谓形成了一个团队,彼此亲密无间,擅长沟通,有凝聚力,这个团队,高通给它取了个名字,就叫人工智能引擎AI Engine。这样的方法更加高效——毕竟,如果将所有的神经网络运算都交给NPU,那么NPU本身其实也需要不断和CPU、GPU交流,这样反而不是那么直接。
骁龙855第四代AI Engine,除了性能,也有生态
想要AI Engine整体AI算力强大,首先这个“团队”中的每一个个体性能要强大。事实上,在骁龙855移动平台中,已经是第四代AI Engine了。早在2015年,高通在骁龙820处理器上就已经正式集成了第一代人工智能引擎,当时叫Zeroth;2017年初,第二代人工智能引擎也随着骁龙835的发布而问世;2018年,随着骁龙845移动平台发布,高通第三代人工智能引擎AI Engine问世,这一代人工智能引擎中,高通开始引入CPU、GPU和DSP的异构并行计算,接着,就是骁龙855移动平台集成的第四代AI Engine了。
第四代AI Engine中,CPU采用的是全新Kryo 485 CPU,为台积电7nm制程工艺采用1+3+4的64位架构设计,核心性能相比上一代Kryo 385提升45%,也是近两年骁龙移动平台CPU提升幅度最大的一次;GPU为Adreno 640 GPU,相较于骁龙845的Adreno 630有着20%的性能提升,同时有着业内领先的每瓦特能效表现;还有Hexagon 690处理器,包含全新设计的Hexagon张量加速器和4个Hexagon向量扩展内核(HVX),内核数量与上一代产品相比翻倍,使它拥有前代旗舰产品向量扩展核心2倍的性能,此外还增加了四线程标量内核,拥有相较于上一代1.2倍的标量运算性能。骁龙855集成的第四代AI Engine充分利用骁龙的异构多核可编程架构,让三个性能大户通力合作,实现了AI性能较前代旗舰移动平台3倍的提升,相较于竞品的AI能力有2倍的提升,让整体芯片进行AI运算时更加灵活、高效。
不过,对于消费者来说,只有芯片的AI性能强还不够,我们也要考虑实际应用中,芯片背后的生态支撑,某种程度上这与芯片性能一样重要。
生态支撑我们分两方面看,第一是高通自身的产品布局,其实从开头鲁大师的排行榜上已经能看出,除了旗舰级的骁龙855,其他高通骁龙AI芯片占了6席,这充分说明了高通人工智能引擎AI Engine在芯片产品线布局上是全面的,在中端芯片市场布局上就有着显著的优势。事实上,高通骁龙SoC的AI能力布局是全面覆盖高端、中端和入门级的,从下面这张图就可以看出,高通AI Engine全面的产品覆盖能力是形成AI应用生态的基础。
有了产品,然后还需要能够应用在终端上,事实上,高通AI Engine从底层框架(Caffe等)到软件(SDK等)以及硬件核心(CPU、GPU、DSP)向外辐射,联合不同的软硬件合作伙伴,已经能够将AI特性作用于智能手机、平板、电脑、汽车、可穿戴设备等海量终端上。以智能手机来说,目前包括小米、一加、vivo、OPPO、摩托罗拉、华硕、中兴、努比亚在内的诸多主流终端厂商都已经用上高通AI Engine。
最后,在AI软件层面以及云服务层面,高通也和不同领域的行业伙伴有着广泛深入的合作,这些合作覆盖拍照、视频拍摄、音频识别、增强现实、游戏、汽车等各种AI应用领域。举例来说,去年高通就和网易有道合作,聚焦于终端AR性能的提升,利用AI Engine,在部分骁龙移动平台上加速有道实景AR翻译功能;今年还和vivo以及腾讯针对游戏《王者荣耀》进行了AI优化合作,在搭载骁龙855移动平台的vivoiQOO手机上,借助高通第四代AI Engine,将移动游戏的AI推理能力首次大规模从云端迁移至终端侧,从而让玩家拥有更好的游戏用户体验。
再举一些例子,高通还通过AI Engine为腾讯QQ应用加速,并合作推出了手机QQ的“高能舞室”功能,让手机AI捕捉的人体动作更加精准;他们还和百度在PaddlePaddle框架和终端侧语音识别方面进行合作,利用AI Engine并通过ONNX交换格式,推动实现百度PaddlePaddle开源深度学习框架模型在高通骁龙移动平台的转换与应用。此外,高通还利用AI Engine和阿里巴巴在支付方面开展合作,更与微软合作基于机器学习的联网摄像头解决方案。
诸如此类的例子不胜枚举,当然,这不仅仅在于数量的多少,而是从这些多元化的合作中能够看出,高通正在以AI Engine为核心建立广泛深入的骁龙AI应用生态,让人们的生活在AI Engine的帮助下更加便捷。
总结
其实说到这里,IT之家小编觉得,将目光放到未来,AI芯片真正的竞争力,或许已经不会局限在是否采用专用的AI运算核心了。性能固然重要,但是能够真正在即将到来的AI时代叱咤风云的,一定是能够形成广泛、深入的生态效应的玩家。
这样全面的AI应用生态,或许才是高通AI Engine所展望的。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。