上个月,一则关于Magic Leap宣传视频造假的新闻引起VR/AR圈内人士的热议,甚至有人开始怀疑Magic Leap是否拥有其视频演示的那些黑科技。因为该公司虽然聚集了众多技术大伽,宣称拥有划时代的技术,但是一直保持神秘状态,只用各种演示技术的特效视频吸引眼球,不敢以真面目示人。
所以人们对Magic Leap知之甚少,外界对Magic Leap存在各种猜测。自Magic Leap获得了谷歌、阿里巴巴、高通等科技巨头的投资之后,估值高达45亿美元,人们对Magic Leap革命性的光场技术等深信不疑,直到关于Magic Leap虚假视频新闻的推出,人们才开始重新审视这家公司光场技术、光子芯片等的可靠性。
其实,光场技术并不是Magic Leap凭空捏造的,已经有几十年的发展历史。光场成像的雏形可以追溯到1903年Ives发明的双目视差显示系统中运用的针孔成像技术。后来Lippman对Ives的装置进行改进,用微透镜阵列代替针孔面阵列。直到1936年,光场的概念才被Gershun提出。类似电磁场的概念,光场是分布于空间中所有光线的集合。
但是当时计算能力有限,光场理论难以得到验证。从1981年光场技术开始受到世界顶级科研机构的关注并展开了持续的研究,随着计算机技术发展和微透镜制作工艺的提高,将光场理论与计算机视觉相结合成为可能,基于此,Adelson于1992年提出了7D全光函数理论。紧接着,Levoy又于1996年进一步提出了4D光场渲染理论,将光场进行参数化降维表示,并提出计算成像公式。
而光场理论的不断完善也加速光场采集和光场显示设备的诞生。其中,光场采集方式目前主要有三种:相机阵列、微透镜阵列和掩膜及其他。微透镜阵列是最常用的光场获取方式,实现方式也最简单。
相机阵列是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像,从而重构出光场数据的方法。麻省理工学院和斯坦福大学先后采用多相机阵列的方式搭建了光场采集系统。斯坦福大学的Ren Ng则采用把微透镜阵列覆盖传感器的方式,设计出单镜头的光场相机,并于2011年推出了第一款面向大众消费市场的Lytro光场相机。此外,德国Raytix和美国Pelican Imaging也各自推出面向工业与科研应用的光场相机和应用于智能手机的微透镜阵列相机等。
与光场采集设备类似,不管是高等院校的研究机构,还是科技巨头的研究部门,都在积极探索光场显示的实现路径。上海科技大学虚拟现实与可视计算实验室曹煊博士指出,Magic Leap的光场显示是采用多投影阵列的技术方案,并声称采用了光纤投影,但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。
虽然与Magic Leap同样保持神秘感,但是NVIDIA已经展示出其与麻省理工联合研发的光场虚拟现实头显原型机,只是该头显需要连接一台高配置的台式机且分辨率很低。微软在头显领域走得更远,其光波导显示器HoloLens不仅抛弃了笨重的台式机,还尝试通过引入光场显示技术来提升HoloLens的视场角和图像质量。
光场技术作为一项前沿的技术,无论是国外还是国内,其主要研究者集中在各大高校和科研院所。曹煊在接受《中国电子报》记者采访时指出,目前光场技术还没有广泛应用到各个领域,国内主要是高校相关学者在研究,而且大多处于实验室阶段。像清华大学、上海科技大学等偏光场采集研究,而中国科学院、浙江大学、北京理工大学等进行偏光场显示研究。
浙江大学教授李海峰在接受《中国电子报》采访时透露,光场显示有头盔显示(单人)和裸眼三维(多人)显示,浙江大学做了一部分前期研究工作。李海峰强调,光场三维是未来的三维显示技术,但是由于显示数据量较大,目前其分辨率还不如平面显示图像的分辨率。上海科技大学教授虞晶怡指出,他创建的叠境数字(PlexVR)公司已经利用光场技术进行光场VR的内容制作,包括环视相机阵列光场采集、线阵光场成像、全景3D成像等,已有产品应用到博物馆展品的虚拟现实演示、房地产业的虚拟样板间参观、中共一大会址的3D建模和光场重建等。
同样,中国科技大学和南开大学的学者也对光场成像技术进行深入的研究。据了解,中国科技大学的相里斌教授及其学生从成像指标出发,对光场成像和传统成像的空间分辨率、焦深范围、调制传递函数和点扩散函数等方面进行深入地分析和比较,提出了超分辨率重构的数字对焦方法,以此进行了高分辨率的图像重构。南开大学的母国光院士及其学生对基于微透镜阵列的显微三维信息获取和再现进行了研究,设计了单物镜红蓝双小孔显微系统获取微观动态样品的立体像对,通过算法重构了样品的三维模型,将普通显微镜的光路改造成光场显微镜,获得了样品的四维光场数据,分别通过计算机和光学再现了光场图像。
此外,我国在光场压缩方面也取得了一定的成果。据了解,我国学者杨志勇和著名科学家侯洵院士提出了多模压缩态理论,使有关光场压缩态领域的研究工作进入了一个崭新的发展阶段,将压缩态理论研究引向深入并推向高潮。
通过国内外对比可以看出,国外不仅拥有深厚的光场理论功底,还尝试将其产品化,而国内还停留在光场理论研究,两者存在明显的差距。曹煊表示,国内外光场研究在理论上差距很小,尤其是国外相关学者回国给国内带来了光场的前沿技术,这种差距将会更小。但是在基础器件制造上,国内外存在巨大差距,这种差距不仅体现在光场产品中,还体现在众多消费电子产品中,而光场产品涉及到的移动处理器、显示器和光学器件尤为明显。
具体到光场采集和光场显示中,它们又有各自的难点需要攻克。曹煊认为,光场显示现在面临的最大困难就是显示器件的革新,这需要材料学、光学、半导体等多个基础学科的共同努力。而光场采集不依赖于特殊的光学器件,用传统的单反相机组成阵列即可采集光场,而算法才是光场采集的核心。换句话说,光场显示更依赖于特殊的显示器件(硬件),而光场采集更依赖于算法(软件)。所以光场技术要实现从采集到显示的端到端系统必须采取软硬兼施策略,缺一不可。
中国增强现实联盟秘书处主任牛一鸣表示,光场本身还处在概念验证阶段,目前显示设备及光学组件、计算设备满足不了光场技术的要求,自然没有成型的光场产品,连Magic Leap也只是在讲概念。
而且光场产品要往高分辨率、轻型化和小型化方向发展还有更多的问题需要解决。例如,如何能在单个场景当中以快速、方便、低廉的形式来采集光场信息就是很大的难点。即使光场采集之后,这些庞大的光场信息也需要server来计算,并将虚拟物体呈现出来叠加在一定场景当中。其次,将这些光场信息从采集设备中输出还对计算机图形算法提出高要求。最后,目前,光场显示设备还没有达到小型化程度,所以其渲染和显示至少需要一组server才能完成。
牛一鸣认为,光场技术还处于发展初期,虽然国外取得了领先优势,但国内外差距可能只有三五年,国内如果要追赶既可以从成像技术、光学等方面切入,也可以从材料、设备制作工艺方面下手,发挥国内制造优势,实现光场产品的率先规模化生产。