“元宇宙”一词被广泛讨论,特别是随着Facebook与Nvidia等公司提出他们对数字技术的未来愿景。但是,究竟什么是元宇宙,实现元宇宙在硬件方面会遇到什么挑战,以及哪些要素已经到位?
市场研究分析公司IDTechEx为此探讨了与元宇宙有关的各种显示器、图像传感器、光学、触觉、增强现实/虚拟现实(AR/VR)等硬件领域的最新发展。
元宇宙的最终目标是让虚拟世界与现实世界能无缝地结合,两者间的沉浸式互动改变我们对实体存在的感知。在这方面的软件技术已经趋近成熟,但硬件方面仍有许多问题需要克服。
元宇宙有望在社会交流方式上实现渐进式的改变,但如果没有硬件技术,最终仍将是一个白日梦。我们仍然可以通过智能手机与笔记本电脑等设备与元宇宙互动,但这些终将成为过时的设备。为了能让自己沉浸其中,需要一个VR眼镜;为了让所产生出的东西能与实体真正结合,需要AR设备。
元宇宙需要具有AR、VR等设备功能,同时还要能让传统设备能够在其中运行。(图片来源:IDTechEx)
AR/VR设备领域的一块试金石是社会接受度,而如果没有传感、显示与光学技术的进步,AR与VR眼镜也无法实现这个目标。IDTechEx表示,尽管投入了数十亿美元进行开发,但真正的AR眼镜在外观或显示IMAX质量的影像方面仍远远未能达到与Ray-Bans眼镜同等的程度。Meta公司(前身为Facebook)在更名的同时宣布其AR眼镜计划,坦承其离可行性还有好几年的时间。VR头戴式设备有时会被拿来与电影《机械战警》(Robocop)作比较——只有最高端的设备才会开始对真实与虚拟之间界限产生模糊感受。
长期来看,业界的目标在于打造能让使用者整天都轻巧舒适地戴着的设备,能在AR与VR之间切换,同时实现与其他元宇宙用户之间的自然互动。创造这种设备所需的硬件技术之旅,呈现出比软件更引人注意的发展与复杂的挑战。
把屏幕放在你的眼前,就可以发现我们在看手机或电视时未能注意到的东西。我们看到了像素之间的间隙,这种现象被称为“纱窗效应”(screen door effect),而经验法则是每度视野需要60个像素(ppd),VR或AR看起来才较真实,这导致对分辨率有很高的要求。除此之外,还需要光学设备让我们的视觉能正确聚焦并调整这些图像的大小。以AR的情况来看,这些光学设备能效很低,因而产生对亮度的需求达到数百万尼特(nit),作为参考,iPhone 13 Pro Max屏幕的最高亮度为1200尼特。
MicroLED显示器能够为AR与VR带来极具前景的解决方案。MicroLED并不会像OLED显示器那样存在烧屏(burn-in)的问题,而且具有极高亮度——上海显耀显示科技(Jade Bird Display)为AR应用定义了一个最大亮度为300万尼特的显示器。MicroLED还可以实现微小的像素间距,加州新创公司Mojo Vision生产的所谓nanoLED显示器Mojo Lens,甚至小到可以装入隐形眼镜中,其亚像素间距仅900nm。
然而,目前存在一个主要问题:MicroLED微型显示器无法产生全彩图像,蓝色MicroLED的效率明显高于其他颜色。对此,量子点(Quantum dot)色彩转换是最被看好的解决方案,能够将蓝光转换为红光与绿光,这些量子点可以通过喷墨打印或平版印刷来实现。此外,目前该技术仍然存在产品寿命的问题,特别是在非常明亮的微型显示器中,以及在许多配方中对重金属的依赖。IDTechE的报告中对于MicroLED在技术、商业化、机会、市场与参与者方面及其发展时间表都有详细介绍。
元宇宙的硬件要求。(图片来源:IDTechEx)
尤其在AR的最大战场组合型光学组件。这些设备将投射的图像覆盖在透明的镜片上。为此,业界各公司都致力于实现最佳的色彩表现、最宽的视野(FoV)以及最大的眼动范围(eye box),以期达到让人信服的显示体验,并能适用于每个人的眼睛。
在这领域的重大新闻之一——“表面浮雕波导”(surface relief waveguide)备受该产业关注。去年5月,AR光学模块行业的WaveOptics被Snap公司(另一家元宇宙社交媒体巨头)收购;11月,三星电子(Samsung Electronics)等巨头对著名波导技术开发商Digilens投资额预估高达5亿美元。二者都是无晶圆厂波导公司。Digilens开发的T-REx可转换波导技术,可以将有效的显示分辨率提高一倍,为达到60ppd的武器库提供了一个有利武器。
各种AR/VR/MR设备以及显示技术的分辨率和视角。(数据源:IDTechEx)
如果你所打造的眼镜,以60ppd的分辨率覆盖每只眼睛135°的视野角度,事情可能会变得难以控制。所幸只有我们的视觉中心要求高质量,而对于其外边缘则没有如此高的要求。通过追踪我们的眼睛,分辨率可以在用户所看的中心区域最大化,同时降低其他部分的需求。
未来,这种眼球追踪技术甚至可以用来通过激光扫描将AR/VR图像直接投射到视网膜上,从而解决戴眼镜的人对光学组件与矫正的要求:也就是说,如果消费者能够接受这个想法的话。
为了更有效地追踪眼睛,在此领域的公司正使用新兴图像传感器技术。对于视觉可以帮助降低处理需求,经由记录活动而非传统的影像串流。使用印刷图像传感器,眼球追踪技术可以压缩到更轻巧的封装中。加拿大材料科学公司Meta Materials (与Meta公司无关)已经将微型相机直接嵌入到眼镜镜片中,随着技术的成熟,这种方法将被整合到AR与VR的光学组件或放大器中。
为了更有效地追踪眼睛,业界厂商积极开发各种新兴图像传感器技术。(图片来源:IDTechEx)
如果你无法用与现实世界相近的方式互动,那到目前为止所讨论的内容都不过就像在头上绑着高端电视而已。AR与VR设备不仅需要感知我们的动作,而且为了能完全沉浸,还需要触觉(触觉反馈)设备。2021年11月,Meta公司的Reality Labs (RL)部门展示触觉手套产品的原型,包括CEO 扎克伯格试用各种产品的示范影片。这款手套利用微流体系统向手的不同区域提供局部触觉的反馈,像是为每个手指提供进一步的触觉反馈。IDTechEx指出,尽管对这个原型与HaptX公司的产品相似性存有一些争议,但Meta公司的知识产权(IP)立论强大,反映出专注元宇宙的公司正致力于提供超越视听感官的体验。
IDTechE分析师提到,最近的AR/VR眼镜在传感方面的关键致胜点之一在于手部追踪所用的飞行时间(ToF)相机,消除了对VR与AR设备游戏控制器互动的要求。苹果多年来持续投资VR/AR领域,2021年10月,业界人士指出LG Innotek已经开始为该公司提供ToF相机,以应用于其即将发表的VR头戴式设备。当苹果采用此项技术时,通常就是具有强力的声明,表示它即将变得无处不在,代表着AR与VR在未来的另一个爆发点。
IDTechEx最后保守地提出元宇宙时代已经来临了。阻碍其全面实现的硬件开发的大山正在慢慢地被翻越,预计其轻巧且时尚的AR眼镜取代如今的智能手机与笔记本电脑也是必然的趋势。
(本文编译自EDN姊妹网站embedded,参考原文:Enabling the hardware for the metaverse)