如果要问这几年智能手机市场最值得关注的技术发展趋势,那么 AI 的深度应用一定要算一个。这些年比较火的词,什么计算摄影、动态刷新、人脸识别、AR 等等,背后其实都离不开 AI 技术的支撑。可以预见,2022 年 AI 仍将紧密伴随广大智能手机用户,这一点,在小米刚刚发布的全新旗舰小米 12 系列上其实有特别体现。
小米 12 系列相信大家已经有所了解,我们以旗舰的小米 12 Pro 为例,它首发全新一代骁龙 8 移动平台,最高主频达到 3.0GHz,拥有 6.73 英寸微曲面屏,后置 5000 万像素 IMX707 主摄,同时还有 5000 万像素的超广角相机、5000 万像素的 2 倍人像长焦镜头。
而小米 12 Pro AI 体验的核心,正是来自骁龙 8 的第 7 代高通 AI 引擎。接下来,我们不妨先通过实际体验,来感受一下小米 12 Pro 的 AI 能力有多强大。
小米 12 Pro,这些 AI 功能实用且强大
在观看发布会和后续上手体验评测的过程中,小米 12 Pro 在 AI 方面有很多出色的功能和特性让小编印象深刻。这里IT之家不妨选取其中一些比较典型的功能应用和大家分享。
首先是小米 12 Pro 的智能动态刷新率技术。我们知道,小米 12 Pro 采用的是 6.73 英寸 2K 分辨率 Amoled 屏幕,刷新率最高达 120Hz,这样的屏幕素质的确是好,但始终“全力显示”也比较耗电,而且就刷新率来说,我们并不是任何时候都需要满满的 120Hz,于是小米 12 Pro 引入了智能动态刷新率技术。
在这项技术的加持下,小米 12 Pro 会智能实时地识别手机的应用场景,然后匹配合适的刷新率。例如当你看普通视频的时候,刷新率会调整到 30Hz:
当你看图片的时候,刷新率还可以低到 10Hz:
而当你滑动信息流的时候,刷新率又会瞬间恢复到 120Hz。
特别是当你滑动屏幕时,随着画面移动速度的变化,小米 12 Pro 的屏幕刷新率也会有一个慢慢下降的过程,直到最后变成 10Hz。
虽然小米 12 Pro 会根据不同场景进行精细的刷新率调节,但是在实际使用体验时,这些调节的过程可以做到自然、无感,会始终保持体验感受上的流畅性,这样既确保使用的丝滑,也起到了省电的效果。
只是要做到这个效果,其实很不容易,必须即时判断手机的使用场景,以及用户触摸屏幕的动作,然后给出对应的刷新率调节方案。非常考验 AI 运算的速度和持续性。而骁龙 8 的第 7 代高通 AI 引擎足以应对这样的需求,我们在后面可以具体分析。
小米 12 Pro 另一个比较典型的 AI 用例是动态性能调度技术。
我们知道,骁龙 8 拥有强大的高性能输出能力,但一直维持高性能也会带来发热和耗电量的增加。想要让用户一直体验快速的响应,必须在性能调校上张弛有度,配合 AI 技术,在不同场景下以不同的方式释放性能。动态性能调度技术就是为此而生的。
以玩《王者荣耀》游戏这个场景来说,动态性能调度技术可以实时分析游戏进度,例如在启动游戏的时候,骁龙 8 的性能会瞬时爆发,全力运行,同时屏幕刷新率只需要 60Hz 就行了,确保快速进入游戏。
而当游戏进入角色选择界面,骁龙 8 又会瞬时进入低功耗状态,低频维持即可:
而当进行游戏时,单人对线、打野等较低负载时,骁龙 8 会动态降低频率:
但当进入多人团战这样的高压场景时,骁龙 8 又能提前进行预判,在 1ms 内对所有核心进行频率调度,确保帧率稳定流畅。
和智能动态刷新率技术类似,动态性能调度技术根据游戏运行的状态来实时调度骁龙 8 的性能资源,本身也需要强大的实时 AI 算力支持。
我们知道,骁龙移动平台的高通 AI 引擎本身就是综合平台 CPU、GPU、Hexagon 处理器等运算模块的算力资源实现 AI 运算的,这样的 AI 运算机制,对于终端厂商利用 AI 进行实时动态的性能调度有着先天的优势。
除了上面这两项技术,小米 12 Pro 在 AI 的应用上还有一个非常独特的功能,就是万物追焦,这也是小米在发布会上重点介绍的。
万物追焦系统,最主要的 AI 应用就是图像识别,包括人脸识别、物体识别等等。小米 12 Pro 的万物追焦,首先是能自动识别人体、人脸、甚至猫和狗等小动物也不在话下。
开启万物追焦,只要人物进入取景画面,小米 12 Pro 就能快速识别并锁定焦点。即便人物在快速运动,也能精准、敏捷地锁定焦点。
而当物体短暂出画返回后,小米 12 Pro 能够迅速找回焦点,继续牢牢锁定。
而且,借助骁龙 8 强大的 AI 识别能力,小米 12 Pro 还首次实现了人眼追焦的能力,近距离拍摄人物时,小米 12 Pro 会快速锁定人物的眼部为焦点,随着距离越来越远,焦点慢慢放大的脸部、全身,这非常符合人们观察物体的习惯。
基于强大的万物追焦功能,小米 12 Pro 能够实现非常出色的抓拍效果,在拍摄高速运动的物体时,可以捕捉到一瞬间的清晰细节,就像时间定格一样。
IT之家还是以人为例,拍摄在上篮的人物。可以看到,小米 12 Pro 的确能精准捕捉到人物上篮的一瞬间,下面这张照片中,人物和篮球细节都是清晰的,效果非常出色。
简单的人脸、物体识别并不是难事,但要持续追焦,识别运动中的物体,那就非常考验设备 AI 运算的能力了,必须拥有不断自学习的特征判断能力,并且能快速预测每一帧运动物体的运动方向,当拍摄者按下快门时,还能立刻给出最好的拍摄参数方案,这一切都需要骁龙 8 强大的 AI 能力提供支持。
从技术到应用,骁龙 8 超强智慧背后的秘密
刚才我们介绍了小米 12 Pro 在 AI 应用方面的诸多新功能,都是小米 12 Pro 的核心卖点。当然,小米 12 Pro 与 AI 相关的功能特性显然远不止小编列举的这些,比如更强的夜景拍照、像素级肌肤焕新技术等等,都离不开 AI 技术的运用。
而骁龙 8 的第 7 代高通 AI 引擎就像取之不尽的宝藏,可供终端厂商们源源不断地开采,然后发挥创意,作出让消费者感到实用、好用的功能。
那么高通是如何通过骁龙 8 帮助终端厂商实现这些强大好用的功能的呢?下面我们就具体来说一说。
1、第 7 代高通 AI 引擎,算力能效双翻倍的 AI 实力
首先,自然是第 7 代高通 AI 引擎本身拥有强悍的 AI 运算能力。
在第 7 代高通 AI 引擎上,高通着重提升了高通 Hexagon 处理器的性能,实现了性能翻倍的表现,同时对共享内存进行了翻倍。
第 7 代高通 AI 引擎在广泛的 AI 模型用例中的推理时间比前代 AI 引擎快 4 倍,同时 AI 能效比前代提升 1.7 倍。这使得骁龙 8 的 AI 性能在 inceptionv3、mobilenet_v2、Resnet50、VDSR 等 AI 测试中能实现最高 4 倍的提升。
除了高通 Hexagon 处理器性能翻倍,第 7 代高通 AI 引擎的 AI 软件性能也提升了 2 倍。正是因为更快的运算速度和更强大的算力,上面小米 12 Pro 才能实现像万物追焦那样实时的、需要秒速、持续 AI 运算的功能。
另外第 7 代高通 AI 引擎值得关注的就是它的传感器中枢模块,骁龙 8 中,高通在传感器中枢里引入了全新低功耗 AI 子系统。该系统为多核架构,由专用 AI 处理器、DSP、外加自有内存组成,用于处理情境数据流,包括语音、音频、传感器和连接。
在全新低功耗 AI 子系统的辅助下,传感器中枢模块的 AI 性能提升 75 %,功耗降低 50%。
传感器中枢模块的增强,让搭载骁龙 8 的终端能够始终待命,以实现一些长时间、或者随机性质的 AI 功能。比如我们前面提到的小米 12 Pro 的智能动态刷新率技术,就必须实时感知智能手机所处的使用情景然后来调整刷新率方案,同时,用户触摸屏幕的时间点也是随机的,能实现这个功能,就有传感器中枢模块 AI 性能提升的功劳。
2、深入合作,推动骁龙 8 AI 应用快速落地
当然,作为终端产品,小米 12 Pro 能将骁龙 8 强大的 AI 能力成功转化为落地的应用,除了第 7 代高通 AI 引擎本身的实力提升,更离不开高通和终端厂商的深度合作,只有这样,才能帮助终端厂商真正吃透骁龙 8 的 AI 特性,从而推动 AI 应用落地。
事实上,小米 12 Pro 在发布之前,高通就和小米开始了提前数月的联合调优,数百位工程师共同合作,反复打磨,死磕体验,这其中包括如何让骁龙 8 的 AI 技术实现完美的应用落地,给消费者带来最好的 AI 体验。不仅如此,小米和高通的合作已经超过十年,双方更是在全球多地成立了联合研发中心,正是基于这样深厚的合作基础,我们才能在骁龙 8 发布后这么短的时间里看到小米 12 Pro 上如此成熟的 AI 功能应用。
除了和小米这样的终端厂商合作,高通更与 AI 产业链的其他技术以及应用厂商建立了深厚的合作关系。比如在全新一代骁龙 8 移动平台的发布会上,高通就宣布了和谷歌在神经网络架构搜索(NAS)技术上的合作。
NAS 研究可以将要使用的硬件以及其他设计参数以帮助工程师快速实现最优设计,自动设计神经网络模型。从根本上绘制硬件蓝图并利用 AI 充分发挥那些特性以产生最优结果。这项合作对于开发者快速了解第 7 代高通 AI 引擎的 AI 能力,并在加速应用落地方面非常有帮助。
再比如,高通还和 NLP 领域应用厂商 Hugging Face 合作,在第 7 代高通 AI 引擎中支持了 Transformer 网络,可以帮用户分析手机上的通知并推荐哪些可优先处理,让用户不错过最重要的信息。
总之,通过广泛的合作和在产品、技术层面的巨大升级,高通让骁龙 8 的 AI 技术能够顺利转化为实际终端的功能应用,也真正让 AI 能够更快的为用户带来极致体验。
3、AI 应用领域积累丰厚,骁龙 8 的强悍并非偶然
在全新一代骁龙 8 移动平台正式发布不到 1 个月的时间里,我们就能在小米 12 Pro 手机上体验到让人惊艳且好用的 AI 功能,这背后有第 7 代高通 AI 引擎本身强大的实力,有高通和小米以及其他产业链合作伙伴的深入合作,更重要的是,高通在 AI 领域数十年投入的积累,让他们在推动 AI 应用切实落地方面拥有深厚的经验,更形成了产业合力,这是我们这么快就能领略骁龙 8 的 AI 技术风采的深层原因。
高通对 AI 人工智能领域的研究从 2007 年即已开始,他们在 2007 年就启动首个人工智能项目,随后开始进行脉冲神经网络等领域的研究。后来,高通在 2015 年骁龙 820 处理器上正式融入了第 1 代 AI 引擎 Zeroth,此后人工智能引擎成为骁龙旗舰移动平台的“标配”,发展至今已经到了第 7 代。在这个过程中,高通 AI 引擎无数次将自身的 AI 能力转化为实际落地的应用,服务终端消费者。所以,骁龙 8 在 AI 应用方面的强势表现,其实就是数年经验积累的结果。
远的不说,就以近些年比较典型的案例来说,比如短视频是这几年最炙手可热的赛道之一,而拍摄短视频需要用到的各种特效,如果少了 AI 的助力,体验将会非常糟糕。而这正是高通 AI 引擎落地的典型用例之一。
举例来说,国内的《快手》App 有一款“手绘滤镜”特效,能将自拍照转换为资深艺术家创作的素描作品。这个功能在实现过程中,需要用 AI 算法在极短的时间里完成手绘画像创作等功能。
过去,快手利用 CPU 来进行 AI 运算,但效果不理想,然后他们又把 AI 运算的过程放到云端,又受到网络覆盖的影响,存在时延。后来他们和高通合作,利用骁龙移动平台的高通 AI 引擎来进行 AI 运算。高通 AI 引擎是利用 CPU、GPU、Hexagon 处理器等各种运算模块来进行 AI 运算,其中 GPU 和 Hexagon 处理器更擅长 AI 方面的运算,这样就完美释放了 CPU 的工作负载,让 App 里的各种视觉特效能够流畅地运行。
在比如拍照也是这几年手机厂商们非常关注的功能,以去年的骁龙 888 为例,第 6 代高通 AI 引擎联合 Spectra 580 ISP 可以让手机上的多摄像头进行三重并发和三重并行处理,这个特性也很快被终端厂商落地到具体应用中,比如中兴的 Axon 30 Ultra 手机,就借此实现了一键拍摄全焦段照片的功能,照片在不同焦距间自由缩放,实现“先拍照、后变焦”,此外还有多摄同拍同录、超级月亮 Ultra 模式、希区柯克变焦等创新影像玩法。无疑,这就是骁龙移动平台强大 AI 技术快速应用落地带来的新鲜影像玩法,能够让消费者们的娱乐生活更加多彩。
此外,过去这些年异常火爆的移动电竞,高通也在移动终端的电竞体验上应用了很多 AI 技术。例如在 Snapdragon Elite Gaming 技术系统中,就有很多技术离不开高通 AI 引擎的助力,像很多手机都能在打开游戏时自动进入高性能模式,还有游戏里的 VRS 技术等等,都需要 AI 的深度参与。
AI 技术的应用无处不在,消费者在生活、工作、娱乐中需要用到 AI 的场景也很普遍。而高通这些年持续推动 AI 技术落地为实际的应用,不仅是推动了 AI 产业的发展,更为普通消费者带来了切实的便利,让技术真正能够造福于大众。
结语
搭载全新一代骁龙 8 移动平台的小米 12 Pro 在这么短的时间里,在 AI 方面的功能体验已经足够让小编惊艳,这不禁让人更加期待接下来更多搭载骁龙 8 的终端会迸发出怎样的“AI 创造力”,相信更多终端、应用厂商会和高通一起,用 AI 为世界、为消费者的生活带来不一样的风景。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。