食物链顶端。
AI 无处不在。
品牌
公司
2G、3G网络通信
高通万万没想到!就在近日,中国三大运营商做了件大事!集体官宣关停2G、3G网络通信。
高通掌握最多的通信技术大多集中在2G、3G网络上,在这方面一家独大,我们不仅得让高通免费使用自己的专利,还要向高通交高额的“高通税”,真是强盗一样的行为。
这下好了,关停网络通信,高通就将毫无用武之地,坐收专利费的日子已经到头,它的“霸主”地位自然也就会土崩瓦解。
如今高通在通信技术上远远落后于华为。5G时代才是未来,低成本、高质量、有发展的网络才是商家首选,看来在任何领域都没有永远的王者,只有不断追求革新和进步,才是硬道理,高通显然将成为过去,能够在5G方面引领世界的,只有中国!
产品
高通 AI Engine 到第四代了,它又为智能手机带来了什么好东西?
高通 AI Engine 进化,和以往有何不同?
说智能手机,就绕不过高通的骁龙芯片,现在说智能手机的 AI,也是绕不过高通的人工智能引擎(AI Engine)了。
早在 2015 年,从骁龙 820 芯片开始,高通就开始在骁龙平台上集成了第一代人工智能引擎 AI Engine,不过这远远不是高通在 AI 领域的起点。高通对 AI 投入研究的开端可以追溯到 2007 年,而关于人工智能处理架构的研究也早在 2013 年就开始了。
面向中高端的一代神 U 骁龙 660 则是高通 AI Engine 为更广泛的大众所用、所知的开端。作为一款 2 年前发布的芯片,骁龙 660 至今还在发光发热,OPPO、vivo 和小米等国内主流智能手机厂商使用这款次旗舰级处理器支撑了一代又一代主力出货机型。从支持《王者荣耀》高帧率模式,到带上 AIE 后缀与 vivo 人工智能助手 Jovi 一起发布,骁龙 660 和 AI Engine 见证了移动游戏业的全民狂热,还有人工智能在手机上的落地应用。
不过熟悉人工智能技术发展,尤其是神经网络技术演进的人就知道,神经网络算法的发展实在太快了,算法迭代以月计算,复杂度呈指数级增长,不同的应用和不同的行业,对神经网络性能也有着不同的需求。面对这些需求,依靠单一硬件核心就捉襟见肘了。
因而,异构运算就必须得出场了。
在骁龙 855 芯片上,高通将 AI Engine 架构升级到了第四代,基于前几代的人工智能引擎 AI Engine 的理念,骁龙 855 移动平台集成的第四代 AI Engine 延续了骁龙的异构多核可编程架构,对每个内核进行进一步的优化。并且,高通第四代 AI Engine 有个重大提升:新增了两个 HVX(Hexagon 向量加速器)和一个高通自主设计、面向 AI 处理的硬件核心 HTA(Hexagon 张量加速器)。
虽然名字有点儿复杂,但是我们可以通俗地解释一下:采用多核异构可编程,新增两种加速器,高通第四代 AI Engine 就像会七十二变的哪吒,面对各种计算任务有很强的变通适应能力,并且还有三头六臂能够同时处理复杂任务,还能聪明地根据任务的性质,进行最高效的任务分配。
在骁龙 855 的第四代 AI Engine 上,涉及到 AI 运算的地方主要包括 Hexagon 690 处理器,Adreno 640 GPU 和 Kryo 485 CPU。
CPU 和 GPU 很好理解,在骁龙 855 上也得到了各种升级,这里主要谈一下 AI 方面:与骁龙 845 相比,Adreno 640 GPU 算术逻辑单元(ALU)有 50% 的提升,进一步加速更高精度神经网络的运行;全新 Kryo 485 CPU 中新增了点积指令,以进一步加速 AI 性能。
更关键的改变在 Hexagon 690 数字信号处理器上,不光是性能强了,内核多了,并且,高通还将以往 DSP(数字信号处理器)需要处理的计算机视觉算法,放在了摄像头相关硬件模块(CV-ISP,计算机视觉影像信号处理器)上来处理,从而释放了 DSP 的一部分运算能力。新增的 HTA (Hexagon Tensor Accelerator,Hexagon 张量加速器)则是高通专门面向 AI 处理器的硬件核心,可以自主管理硬件中神经网络计算单元,独立完成每一层神经网络的运算。
在其他的厂商宣传中,这个新增的 HTA 可能被称为 NPU,或者神经网络引擎等等。
AI 有点难懂,但你可能已经离不开 AI 体验了
对于大多数消费者来说,智能手机背后的处理器啊,引擎啊,异构运算都过于枯燥和难懂。性能再强大,不能让消费者不能直观的感受到,都是纸上谈兵。
然而,AI 从芯片到消费者之间的距离,物理上可能只有一层手机壳和一层主板,技术开发与融合到终端侧应用的落地,则需要全球化的协作。首先,AI Engine 要支持主流操作系统,比如 Android、Windows 和 Linux;还要对各种软件、工具以及各类框架的支持,比如 Google 的 Tensor Flow、Caffe2 等等;然后就是我们相对熟悉的,硬件上需要支持手机、电脑、无人机、VR 眼镜等等;最后就是和各种软件开发商合作了,做出各种能利用 AI Engine 的预优化软件应用,让消费者最终能够上手使用。
从高通 AI Engine 到手机使用场景,有一个我们最常用的 AI 应用案例:手机拍照自动识别场景,并针对场景做优化,让夜景更明亮,逆光不过曝,食物更诱人,自拍更好看… 这样的智能辅助拍摄算法一部分由手机厂商自己研发,更多则是软件开发商的研究成果,如国内的旷视科技和商汤科技,就针对手机拍照做了不少的研究,很多自拍的算法,也是来自虹软。而这些软件开发商,几乎都是高通的 AI 生态系统合作伙伴。以下是目前已有的清单:
拍摄领域:AnyVision、虹软、旷视科技、Loom.ai、Nalbi、泼辣、商汤科技、创通联达、Uncanny Vision
音频/翻译:有道、思必驰、大象声科、科大讯飞
手势:Elliptic Labs、Qeexo
增强现实(AR)领域:网易、商汤科技
汽车领域:Cogent Embedded Technology、Jungo、PathPartner Technologies、纵目科技
围绕高通的人工智能引擎 AI Engine,高通打造了一个强大的 AI 生态系统,在上面的 AI 软件合作之外,还有腾讯、百度、亚马逊、阿里巴巴这些的云服务提供商。他们一起,给包括智能手机在内的搭载骁龙平台的终端带来降噪、夜拍、超分辨率、人脸识别、语音识别、对象检测、视频分割、背景虚化等等各种 AI 功能。
Nalbi 是一家从事计算机视觉的人工智能公司,借助于骁龙 855 上的第四代 AI Engine 可以完成一些以往难以在手机上实现的功能。比如先拍照,后对焦。
在很早之前,就有 Lytro 这样的创业公司做了售价不菲的光场相机,提供了先拍照后对焦的功能,不过因为成本和体验原因,消费者并不买账。后续也有手机厂商尝试了类似的功能,不过因为技术还不够成熟,体验也不够好。
到了现在,不光是手机摄影的影像传感器大了,像素高了,而且处理器的速度也更快,人工智能也能在手机本地处理复杂运算,这就使得如今的「先拍照后对焦」达到了真正可用的状态。
如果说 Nalbi 这个技术是对既往技术的优化,还不够突出人工智能的厉害的话,那么实时的视频渲染就是说明了高通 AI Engine 赋能的手机端人工智能有多么的黑科技了。
在 Nalbi 的演示视频里面,这位姑娘的头发颜色可以随心变换。相比于静态的图片,动态视频的渲染无疑要难得多,涉及到了人脸识别、对象侦测等等多种技术,这也证明了结合第四代 AI Engine,软件厂商可以在手机端做出更炫酷更适合大众用户的功能了。
图像处理是手机端人工智能的拿手好戏,这不意味着骁龙 855 和第四代 AI Engine 只能沉醉光影,不能听声辨位。
通话消噪也是人工智能可以发挥的舞台,虽然手机麦克风在硬件上可以定向拾音做到一定程度上的消噪,不过要是集合人工智能的功能的话就更好了。其实在骁龙 855 发布的时候,高通和合作伙伴大象声科就演示了在酒吧、体育馆、喷泉旁等人声鼎沸人海茫茫的地方的通话消噪功能。有了这个功能,哪怕是乔峰扛着录音机在身边打一套降龙十八掌也不会影响通话了。
实际上除了「纵情声色」之外,在一些硬核技术上,高通的 AI Engine 还能起到锦上添花的作用。
比如 vivo 在屏幕指纹技术的投入领先于友商们,这也意味着他们要先人一步地去解决各种各样的技术问题。相比于传统的电容式指纹识别,屏下光电指纹识别的技术原理完全不同。低温干手指和强光直射等环境是屏幕指纹识别中典型的难识别场景。这种场景下,就需要用到「补录机制」,不过这也意味着处理时间的增加。
在传统的处理方式中,指纹识别的数据处理都是通过 CPU 单核单线程完成的,不过在低温干手指、强光直射这类「刁钻场景」下,屏幕指纹识别所需的图像增强和对比识别的处理过程相对复杂,对硬件性能的要求也更高,传统基于单核 CPU 运算的解决方式难以实现畅快的解锁体验。后来 vivo 和高通就合作起来解决这个问题:由于 DSP 与单核 CPU 相比,在屏幕指纹识别的核心处理流程上具备数倍的神经网络和矢量计算的优势,利用 DSP 加速,不仅解锁速度快,而且还更安全。
在刚刚谈论到的这些之外,我们还能看到许多基于高通 AI Engine 的一系列应用:网易有道的实时 AR 翻译,商汤做出的实时视频渲染风格转换,旷视科技的 3D Animoji 等等。
其实,当我们拍照出现自动场景识别,屏下指纹识别用到了 DSP 加速,通话的时候有智能降噪的时候,就说明了,AI 其实开始成为一种基础能力了。不过有的时候,往往就是基础能力,得不到消费者的感知和了解。
再看看上面那张高通 AI Engine 发散开来的 AI 生态系统,就会发现,在未来,AI 不光会是在手机里面会占有越来越重要的位置,随着 5G 的普及,联网设备会空前增加,天上飞的无人机,地上行驶的汽车,工厂里的机器人等等都将与 AI 产生不可分割的联系,AI 将无处不在。
高通 AI 开放日:与 5G 发展相结合,还带来首支 AI 王者荣耀战队
与 5G 结合是高通发展 AI 的重点
作为整个活动的开始,高通中国区董事长孟樸在开场演讲中分享了高通在 5G 和 AI 领域中的发展。
大家都知道,目前世界各国都在积极推进 5G 项目,5G 发展的速度也在日益加快。但是到底有多快?高通与我们分享了一组数据:4G 发展的第一年,只有 4 家移动运营商和 3 家终端厂商参与其中,但 5G 截止到现在已经有超过 20 家运营商宣布了 5G 网络部署计划,超过 20 款 5G 终端将在今年发布。
另外,高通预计到了 2035 年 5G 相关产品和服务将会将有 12.3 万亿美元。 2022 年 AI 衍生的价值将达到 3.9 万亿美元。
高通表示,未来的 AI 发展战略与 5G 密不可分。5G 具有高容量、低延时、以及可靠性高等特点,将可支持终端实现感知、推理和行动。与此同时,终端侧的 AI 也将充分发挥 5G 的潜能,并为 5G 开拓更多的使用场景。
云侧与端侧双发展
5G 的网络支持,让云端人工智能的应用有了更广的应用范围,也有了更多的可能性。
在开放日的演讲上,高通再一次为大家介绍早前在旧金山已经正式亮相的主要面向云服务的 AI 加速器 Cloud AI 100。
Cloud AI 100 采用 7 纳米制程,单片计算能力达到 350TOPS,约为骁龙 855 的 50 倍算力。同时,Cloud AI 100 还集成包括编译器、分析器、监视器、芯片调试器等各种开发工具包,而高通也会提供框架支持,让开发者更好地运用 Cloud AI 100 进行开发。
除了发展云侧之外,在端侧发展人工智能,对于高通来说自然也是更为重要。
其实从骁龙 820 开始,高通的人工智能引擎至今已经发展至第四代。而高通也在演讲中表示,骁龙移动平台已经为超过十亿台智能手机提供领先的 AI 体验。
当日高通也正式在国内发布了他们面向中端市场的三款全新移动平台:骁龙 665、730 以及 730G。
当中,骁龙 730 和 730G 不仅在 AI 算力上翻倍,也在骁龙 7 系中实现了多个特性上的突破,当中包括首次在 7 系中使用第四代高通 AI 引擎、首次使用张量加速器、首次使用 8 纳米制程工艺、首次支持人像模式的 4K HDR 视频录制等。
型号上多了一个「G」的 730G 则进一步增加了对部分之前只出现在 8 系产品上的 Snapdragon Elite Gaming 技术的支持,如 GPU 渲染速度提升、Wi-Fi 时延管理器、HDR 游戏等。
除了进一步布局智能手机端 AI 外,面向移动计算、XR、物联网、音箱和汽车,高通也都已经推出集成其人工智能引擎的产品平台。
AI 落地应用
在当日的活动中,除了有专题演讲和采访外,高通还和国内外近 20 家合作伙伴为大家准备了基于高通 AI 引擎的应用展示。当中最为瞩目的,就莫过于位于整个展厅最前方的王者荣耀竞技台。
但与常见 5 人对 5 人的竞技台不太一样的是,在展示区的比赛中,仅有一队是「真人」,另一队则是由五名 AI 来操作。
在开放日上,高通宣布联合 vivo、王者荣耀和腾讯 AI Lab ,通过结合四方在 AI 领域的优势资源,打造第一个名为「想象力工程」的 AI 落地项目。
该项目旨在探索 AI 生态的跨产业合作,同时通过四方的共同努力为 MOBA 类游戏场景带来游戏前、中、后期更具创新性、体验更优秀的端侧 AI 体验。
上面所提到的首支王者荣耀 AI 战队 SUPEX 则是该项目的其中一个产物。
而除了 SUPEX 以外,展区还展示了影音、游戏、生活工具、行业应用四大类的 AI 通话降噪、AI 夜景优化、AI 视频背景虚化、AI 无人超市等多个 AI 落地体验。
为了强化 AI 研究,带来更多优秀的落地体验,高通在去年就设立了总额高达 1 亿美元的 AI 风险投资基金,用于投资全球变革 AI 技术的初创企业。高通也表示,当中已经有不少中国人工智能初创企业,通过这个基金获得了更好的发展。