手机的3D感知能力——消费电子ToF技术与市场分析报告

第四部分，ToF技术应用现状与前景

这里我们不谈单纯的ToF的距离检测应用，而着重在谈ToF的3D成像与感知应用。因为ToF单点距离检测实际上已经发展得比较成熟和广泛。比如说手机的距离感应（接打电话时自动熄屏），手机摄像头拍照时的激光辅助对焦，以及投影机的激光对焦；智能家居如家用机器人、扫地机器人的避障；使用体验加强，如智能家居屏幕、儿童教育面板——靠近时就自动点亮，体温检测与闸机管制辅助——检测到有人靠近时就预先启动，当然其中部分已经超出了本文的探讨范畴。TKiednc

在3D感知应用领域，移动领域后置3D感知应用场景可做几种切分，其一是摄影辅助：主要体现在场景深度数据对于照片背景虚化的加强，以及变焦能力的强化（以及可针对照片做有关深度、3D方面的特效强化）。与此同时也将扩展到AR与游戏，iPad Pro 2020搭载的LiDAR模块就是着力于AR应用：iOS生态的ARKit早已为此准备就绪；Android生态中ARCore API近期的版本更新中，也体现出对于不同3D感知技术的重视。而前置3D感应，则可应用于更多的交互开发（如手势操作）、人脸识别等。TKiednc

在智能手机之外，智能家居、AR/VR设备、家用机器人、智能电视都是其应用方向。就目前来看，这些领域的应用仍在发展初期。实际上这部分市场正从3D成像往3D感知转换，如此一来AI驱动的设备、机器人就能理解其周围环境，开发新的交互方式。而LiDAR激光雷达在车载、工业、零售等领域的应用则已经超出本文的探讨范畴。这里我们稍稍列举其中几个。TKiednc

（1）摄影辅助与强化

立体视觉（Stereoscopy），如双摄或多摄的一大价值就在利用视差，模拟单反摄影的背景虚化（浅景深）能力，不过这类方案的深度图（depth map）精度经常不够高，尤其是这种三角测量方法受制于baseline的距离（如章节2.1所述）。而ToF摄像头的场景深度数据往往要准确得多，这对于辅助2D摄像头摄影：突出画面主体，并对背景做虚化，创作更具视觉震撼力的照片有帮助。TKiednc

另外，场景深度数据也有助于模拟场景补光，实现影棚级的打光效果，意即为智能化的滤镜、后期做准备。英飞凌/pmd的IRS2877C在推广中的应用方向就提到了不仅有面部识别，还有针对照片和视频强化自动对焦、虚化效果，以及在光照环境不佳时提升画面分辨率。TKiednc

（2）面部识别、交互加强

LG G8 ThinQ、华为P30 Pro等手机都已经开始引入悬浮手势识别功能。例如在下厨或吃饭时，不需要用手去接触手机屏幕，而借由前置ToF的3D感知，即可通过在手机前挥挥手这样的操作来实现翻页、滚屏等普通操作。TKiednc

不仅在手机产品中，如智能电视、交互辅助设备上，亦可实现肢体动作识别的交互方式。生物特征身份认证的人脸识别，也是ToF在手机、平板、智能电视、教育面板等设备上的重要应用方向之一，即便其精度暂低于结构光，但距离优势，以及技术发展中越来越高的精度，也为其这一领域的应用奠定了基础。TKiednc

而交互方式的变化，更深入地可以体现在家庭娱乐中，比如配合娱乐外设的体感游戏等。TKiednc

（3）AR现实增强

苹果iOS生态在AR方面的耕耘已经持续数年，这一市场目前暂未实现真正的爆发，不过主要操作系统包括iOS、Android都在积极地更新AR相关API，包括苹果的ARKit，谷歌的ARCore。这两年一直有传言说，谷歌很快就要为ARCore引入ToF的原生支持。这则消息到去年Google I/O似乎还未有成型，不过在去年12月更新的ARCore API版本中，谷歌的新闻稿提及，“有专门摄像头即ToF传感器的设备，将能够获得更好、更精准的体验。”[26]TKiednc

AR发展后的应用就不仅限于iOS已有的实物长度测量这类简单功能，它还将为AR游戏——提供沉浸式的游戏体验，以及扩展到消费娱乐体验之外，比如零售业的应用：典型如宜家的家具虚拟展示、汽车产品及功能虚拟展示，以及时装店的一键虚拟换衣展示等。TKiednc

（4）智能家居

ToF在智能家居的应用，除了前述单点距离检测的避障应用（以及如应用于智能门锁的距离检测，实现使用体验加强）以外，对于家用智能机器人或者更多智能设备的环境感知和理解，3D ToF技术都有发挥的空间。这部分市场仍在起步阶段，就机器人的3D环境感知能力来看，它在工业领域的应用或许会更早起步。TKiednc

（5）消费领域之外的更多应用

包括前文已经提及的在零售行业，ToF摄像头可以给予消费者更好的购物体验。最简单的像是可交互的广告和推广信息展示，消费者通过手势或者体感操作可有沉浸式体验；虚拟换衣间，利用ToF摄像头直接给自己换上感兴趣的衣服，预览搭配效果等。TKiednc

在汽车领域自不必多说，即便不谈论应用于ADAS系统的LiDAR，ToF在智能驾驶舱中的应用可用于手势交互、驾车者状态监测等。医疗健康领域，如MESA ToF摄像头在交互式物理治疗系统的应用是个典型。工业自动化相关的例子有ToF电子围栏、针对奶牛的自动挤奶系统，工厂自动运输机通过ToF能够实现在工厂或仓库内的自主导航，以及针对后勤/运输做运输工具空间优化利用的尺寸标注解决方案等。TKiednc

以上列举的部分应用实际上也有其他可行的解决方案，例如立体视觉、结构光都有在这些领域做应用的可行性。但正如2.1章节所述，由于ToF技术本身的特点，它在这些领域的广泛应用显得更有潜力。而且即便只讨论消费市场，以上列举的应用领域都尚未完全开发，结合本文第一部分对ToF市场预测的探讨，ToF技术的未来是真正可期的。TKiednc

TKiednc

参考来源：

[1] More Devices Will See In 3D – Semiconductor EngineeringTKiednc

https://semiengineering.com/more-devices-will-see-in-3d/TKiednc

[2] 3D imaging and sensing: now it is rear 3D sensing turn to be the leading growing application - Yole DéveloppementTKiednc

http://www.yole.fr/3D_Imaging_Sensing_ToF_Adoption.aspxTKiednc

[3] VCSEL for Sensing – VertiliteTKiednc

https://www.vertilite.com/Applications/shownews.php?id=98TKiednc

[4] Sony’s 3D Time-of-Flight Sensing Solution in the Huawei P30 pro – System Plus ConsultingTKiednc

https://www.systemplus.fr/reverse-costing-reports/sonys-3d-time-of-flight-sensing-solution-in-the-huawei-p30-pro/TKiednc

[5] VCSEL, an industry driven by new functionalities in smartphone and automotive - Yole DeveloppementTKiednc

http://www.yole.fr/VCSEL_MarketUpdate.aspxTKiednc

[6] T. Bosch, Laser ranging: a critical review of usual techniques for distance measurement, Optical Engineering(2001)TKiednc

[7] 12.9” iPad Pro 2020 Teardown: What does the LiDAR scanner look like? – iFixitTKiednc

https://www.youtube.com/watch?v=xz6CExnGw9wTKiednc

[8] Zhang Chao, CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras, 2019TKiednc

[9] Sirge, Guillem Aleny`a and Carme Torras, Lock-in Time-of-Flight (ToF) Cameras: A Survey, IEEE Sensors Journal, 2011TKiednc

[10] ADI ToF Depth Sensing Technology: New and Emerging Applications in Industrial, Automotive Markets, and More – ADITKiednc

https://www.analog.com/en/analog-dialogue/articles/adi-tof-depth-sensing-technology-enabling-new-and-emerging-applications-beyond-consumer.htmlTKiednc

[11] 3D Image Sensor REAL3™ for Consumer – InfineonTKiednc

https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/3d-image-sensor-for-consumer/TKiednc

[12] TechInsight’s TwitterTKiednc

https://twitter.com/techinsightsinc/status/1244050881705844737TKiednc

[13] Better Time of Flight: Sony DepthSense 3D Sensor Explained -LUCIDTKiednc

https://thinklucid.com/tech-briefs/sony-depthsense-how-it-works/TKiednc

[14] Panasonic Develops Long-range TOF Image Sensor with High Ranging Accuracy – PanasonicTKiednc

https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.htmlTKiednc

[15] STMicroelectronics’ Time-of-Flight Sensors and the Starship Enterprise Show up in the iPhone 7 Series - TechInsightsTKiednc

https://www.techinsights.com/blog/stmicroelectronics-time-flight-sensors-and-starship-enterprise-show-iphone-7-seriesTKiednc

[16] Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud. Time of Flight Cameras: Principles, Methods,TKiednc

and Applications. Springer, pp.95, 2012, SpringerBriefs in Computer Science, ISBN 978-1-4471-4658-TKiednc

2. ff10.1007/978-1-4471-4658-2ff. ffhal-00725654TKiednc

[17] Time-of-flight camera – WikipediaTKiednc

https://en.wikipedia.org/wiki/Time-of-flight_cameraTKiednc

[18] Infineon/pmd3D Indirect ToFCamera Module – System Plus ConsultingTKiednc

https://www.systemplus.fr/wp-content/uploads/2019/09/SP19468_pmd_Infineon_3D_ToF_LG_G8_System_Plus_Consulting_sample.pdfTKiednc

[19]22nd Annual Needham Growth Conference 2020 - Viavi Solutions Inc.TKiednc

https://s22.q4cdn.com/132839763/files/doc_presentations/2020/Viavi-Solutions-Inc-2020-Needham-Growth-Conference-Jan-2020-FINAL.pdfTKiednc

[20] Panasonic’s 3D Time-of-Flight Depth Sensing Camera Module - System Plus ConsultingTKiednc

https://www.systemplus.fr/wp-content/uploads/2019/05/SP19451_Panasonic_3D_ToF_Camera_Module_flyer.pdfTKiednc

[21] Panasonic Develops Long-range TOF Image Sensor - PanasonicTKiednc

https://news.panasonic.com/global/press/data/2018/06/en180619-3/en180619-3.htmlTKiednc

[22] Annual Report 2019 - Infineon Technologies AGTKiednc

https://www.infineon.com/dgdl/Infineon+Annual+Report+2019.pdf?fileId=5546d4616e8d476e016e9958480f0029TKiednc

[23] World’s smallest 3D depth sensing module with highest resolution - pmdTKiednc

https://www.pmdtec.com/news_media/press_release/ces-2020-news-2.phpTKiednc

[24] Infineon collaborates with Qualcomm to enable high-quality standard solution for 3D authentication - pmdTKiednc

https://www.pmdtec.com/news_media/press_release/infineon-pmd-collaboration-with-qualcomm.phpTKiednc

[25] Simon Theiß, University of Siegen, Analysis of a pulse-based ToF camera for automotive application, 2015TKiednc

[26] ARCore phones can now detect depth with a single camera - 9to5GoogleTKiednc

https://9to5google.com/2019/12/09/google-arcore-depth/TKiednc

（本文同步刊登于ASPENCORE旗下 《电子工程专辑》2020年5月刊杂志，责编：Demi Xia）TKiednc