视频逐帧卡通化处理
首先是AI视频处理。2017年的麒麟970时代，华为演示2000张照片智能识图需要60秒，而到了麒麟9000同样的识图过程只需要1秒钟。这一点带来的价值放到视频之上，就是AI实时处理复杂网络。过去针对视频中的每一帧画面，都只能执行图像分类、目标检测、语义分割、实例分割、图像编辑等其中的一种操作；但现在针对每一帧，都能执行以上的所有操作。
到实际应用里，华为现场演示的是视频的实时卡通化：针对一段视频，每一帧都能做轮廓提取、纹理优化和区域分割，并实现每一帧的卡通化。我在现场演示中看到，这个过程的确是完全实时的：通过摄像头拍摄的取景画面就实时呈现出了画面的卡通化——而不是延后处理——以前我们也见过将画面卡通化的app，但那些要么只能处理照片，要么就是对视频有延后处理的长时间等待过程。
另外，除了这种娱乐向的应用，AI视频增强特性中的一个很有意义的应用是将低分辨率的视频upscale成高分辨率——整个过程实现的是每帧画面的去噪、锐化、超分、色彩增强。其中超分，是能够将原画面实现2-3倍的分辨率提升的，比如480p分辨率的视频可以upscale至1080p。起码华为现场演示的效果很不错。
针对一些片源本身就不清楚，或者由于网络环境关系无法观看高分辨率视频的情况，这种在本地将视频“超分”为高分辨率的解决方案是的确能够提升观看体验的。不过这个方案仍然需要第三方播放器做出支持，华为提到后续会在HMS中通过AV Pipeline开放——HMS此前我在介绍HarmonyOS系统时已经提过多次，HMS是可为开发者提供各种Kit和API的一个中间层。
上面谈的是AI视频处理，接着是AI拍视频。这部分华为宣传的是“业界首次实现ISP+NPU融合架构”。在拍视频时，从摄像头的CIS获取到画面数据，随后进入ISP+NPU的融合结构里，其管线如上图所示。具体数据是如何在NPU与ISP两个硬件之间流动的，就不得而知了——但这两者间一定是有分工的，比如常规的3A（自动白平衡、自动曝光、自动对焦）肯定由ISP执行，而去噪之类的操作可以交给NPU。此前静态照片拍摄，AI如何介入ISP的流程，甚至包括自动白平衡这类传统项亦可由AI单元去完成，谷歌AI Blog就分享过很多这方面的技术细节。
但“首次”实现ISP+NPU的融合，细算起来或许还有其他竞争对手。除了iPhone在照片拍摄时如今也应当有这样的流程；比较具有代表性的是谷歌Pixel手机。
Pixel从二代起加入Pixel Visual Core（或Visual Neural Core），这是个专门用作图像处理的AI硬件——只不过谷歌并不是手机SoC制造商，自己没有能力给手机的主SoC融合一个这样的单元，所以Pixel Visual Core是以独立的形式存在的。理论上它也与ISP做协同，实现Pixel拍照的过程。只不过猜测其时延会比较高（毕竟是芯片间通讯），所以谷歌做画面的AI加强，似乎始终都不曾涉及视频（最多好像也只有动态照片的AI防抖等特性）。
华为提到，麒麟9000的ISP+NPU处理时间<33ms，就相当于过去单独ISP处理摄像头拍摄的数据一样，这的确算是个性能跨越。值得一提的是，今年麒麟9000的ISP为“Kirin ISP 6.0”，包括3A处理能力的100%提升，以及Quad Pipeline扩张做到处理管线速度50%的提升——这应该也是实现AI视频拍摄整体处理时间<33ms的重要原因。所以ISP与NPU的算力堆砌在此都非常重要，iPhone 12似乎都仍然做不到AI视频拍摄的实时处理。
这一点，华为也专门在演示中做了对比。即iPhone 12 Pro相较Mate 40 Pro，暗光视频拍摄能力，在画面的细节呈现上有差距——这是后者用NPU+ISP协同工作达成的。
另外由于算力的彪悍（与包括system cache在内的通讯的高效），Mate 40也做到了视频的实时4K HDR——这里的实现层级是在SoC之上的ISP与NPU（而非CIS及堆栈的ISP，不过想必索尼CIS的高速读出技术在此也是不可或缺的）。华为宣称是“逆光HDR视频超越人眼”，达到108dB动态范围。
最后是AI+AR。实际上华为宣传的AI+AR的，本质就是做计算视觉，将手机摄像头看到的世界，通过SLAM（同步定位与地图构建）+语义理解，令AR能够识别周边的东西是什么，并且对对象距离、尺寸做测量——那么无论针对人脸做识别建模，还是对周围环境做识别建模，都能做到实时的感知；感知测量也能达到更高的精度。
艾伟说，“这个功能以前我们用软件来实现，比较耗电，花的时间也比较长。这一次，我们提供专门AR硬化的加速器模块”，“同样一个AR识别，时延降低40ms，功耗降低36mA”。
AI+AR的特性究竟能用来做什么呢？华为设想的是，手机作为信息入口，通过AI+AR，不管是人、物体，还是结构化文字，都能做到实时的识别。且在识别、测量之后，将脱敏的数据传输到云端；云端有海量数据库与知识图谱。于是“它就变成了一个新的陪伴”，“陪伴我们的一个超智慧的感知体验”。未来的一切，从单点对象到整个世界，都可将其实时数字化、识别，并与云端组合到一起。
而此间的传输过程又与5G有着不可分割的关联。
在本文最后上价值之前，还是先来看看麒麟9000的5G modem部分。由于麒麟990 5G就已经用上了Balong 5000 modem，所以似乎这次Mate 40系列手机支持5G已经不是新鲜事了。
但华为还是展示了Mate 40一些更为细致的5G数据。包括在sub-6GHz频段下，5G SA下行双载波速率4.6GHz，上行双载波速率2.5GHz，相比骁龙865与A14+X55 modem的方案，理论峰值速率是其2倍（iPhone 12为5G单载波）。不过X55 modem实际上是支持毫米波的，但毫米波的基础设施建设或许就现在看来还没有那么及时：iPhone 12美国版支持毫米波。而实测数据，从华为自己的数据来看，Mate 40与iPhone 12还有更大的差距——这部分还是可以等一等更多评测机构的数据。
时延部分，上面这张图是在杭州一块区域内的室外测试，绿色部分是指<30ms终端到服务器的时延。这块区域的实测数据是，Mate 40 Pro有84%的在网概率是<30ms时延的，16%的概率时延在30-100ms。而从华为的数据来看，iPhone 12是刚好相反的。实际上，在4G网络之下，100-150ms时延就已经有相对流畅的游戏体验了。因此这也是5G带来的便利。
不过上面这些数据实则并不只是5G modem的问题，可能涉及到了整个RF系统以及天线，乃至手机制造商的系统设计。而且其复杂性之甚，大约还有更多的维度可以探讨。
在5G的问题上，现有5G手机用户普遍的反馈是，没有对应的使用场景，不需要那么高的吞吐与那么低的时延。延续前一个AI+AR的段落，艾伟对此的看法是：以上麒麟9000改进的每一点都有用。
当它们合在一起的时候，是打开新世界大门的时候。“以今天5G手机的发展速度，经过一个正常的换机周期，两年以后，整个存量市场超过一半会是5G手机——这还是偏保守的数据。那么应用环境变化会自然跟随发生变化。”
“就像4G时，有了3G没有的移动支付、共享经济。到5G时，我们会拥有4G所没有的实时虚拟世界，数字世界与真实世界的结合。”艾伟说，“而且这并不需要太长时间，一定是在两年以内。”看来麒麟9000是为此打下了一个基础。
最前沿的电子设计资讯
