去年有个新闻讲,小学生发现丰巢刷脸取件bug,用照片就能刷开快递柜!官方紧急下线。“2D成像的缺陷是,相机成像的过程是3D到2D的投影,会丢失场景的三维信息。三维信息的缺失,限制了智能算法的应用。”奥比中光研究院研究员徐玉华在ASPENCORE举办的第二届(2020)国际电子产业链资源对接大会上在发表“深度相机十年:历史、现状和未来”主题演讲时强调。
他表示,3D视觉感知的任务,是从相机捕捉的2D图像恢复场景的三维结构,为智能识别、检测、定位、测量、AR、机器人导航等应用提供三维信息。
据介绍,深度相机分为三个类别:结构光、双目视觉、飞行时间法(ToF)。
“深度感知的基本原理是,三维点投影过来的过程是唯一、确定的。如果只给定一个像素的话,反投影回去,可以得到一条射线,场景的深度、距离是不确定的。如果有两台摄像机的话,给定其中一个相机中的像素点,另外一个相机只要找到同名点,通过交汇就可以确定出目标点的三维信息,从而恢复出深度信息。”徐玉华介绍说。
双目测距的核心在于找到对应点。像人眼一样,两只眼睛看的内容实际上是不一样的,里面会有视差,核心在于通过立体匹配算法建立两幅图片中的像素点的对应关系。
下图是编码结构光的一个示例,左边是人脸的三维散斑,右边是呈现出的三维人脸。好处是目标表面增加了很多的斑点纹理,重建起来的可靠性和精度都可以得到大幅度的提高。
飞行时间法则是通过直接或间接测量光线的飞行时间,来测算距离的。
下面来了解一下深度相机的历史。
2010年以前的深度相机成本高,精度也不高,通常用于实验室中的研究,和老百姓的生活没什么关系。2010年这个情况开始发生变化:
双目相机的精度不大可控。因为是依赖于场景的纹理,场景纹理越丰富,双目的精准性就越高,而如果拍一些光溜溜的白墙,精度就不行。
结构光和TOF都是主动测距方法,精度比较高。对结构光来说,在近距离情况下,比如苹果手机用的刷脸,其精度会比TOF高。结构光还是三角测距法,TOF没有这个问题。iTOF也有多路径的效应。双目的测量距离可以测到100米、几百米,不受距离的限制。
从下图可以看到,对于英特尔的传感器,采用传统双目算法,纹理不丰富的区域效果很差,而用神经网络的方法得到的结果非常漂亮。深度学习算法在深度路径方面取得了成功。
下面几个数字对产业来说很有意义。
奥比中光于2018年获评“独角兽”企业,今年荣获广东省科技进步一等奖。该公司于2013年成立,发展速度比较快。
奥比中光的3D感知技术,应用领域比较多,包括移动终端、智慧零售、数字家庭、智能服务、智能制造、智能安防、智能交通、智慧政务。
下图是魅族3D深感传感器,可以做硬件级人像虚化、AR尺子、AR夜视仪。
支付宝的刷脸支付/奥比中光3D刷脸支付解决方案,应用已有数百个城市。现在深圳坐地铁是刷二维码,而如果以后刷脸能普及的话,减少人流拥堵的效果就更好。
下面是门锁。“拎着一大包东西还得把手指掏出来刷指纹,有刷脸的门锁更方便。”徐玉华举例道。
贝壳如视VR看房,360扫地机器人自主免障,京东智慧物流,可以直接录入到系统提高效率。
还有很多有趣的应用,例如刷脸和医保卡绑定就是之一。
单相机的动态人体重建系统,买衣服只要直接转一下体型就出来了,穿什么型号的衣服就出来了,很方便。
结构光、双目和TOF技术属于不同的流派、不同的技术。这三者优势互补,不是替代关系,而是长期并存的。
这两年dTOF技术正在快速发展。
3D感知技术应用在多个领域已经崛起(3D人脸识别、场景建模、手机AR、AR眼镜、机器人定位/导航、物流、自动驾驶/辅助驾驶等),并在迅速扩大到其他领域,包括人脸形貌、脚型、人体三维重建, AR平行世界等。
奥比中光将致力于全方位深耕3D感知技术,包括结构光、双目、iTOF/dTOF,从底层Sensor、芯片设计,到光学、算法、系统优化。