根据 The Information的一份报告，Meta 计划在 2024 年之前发布四款新的 VR 头显，据称这是其 AR 设备的补充。
Meta 的四款新耳机中的第一款将是 Project Cambria，该报告称预计将于今年 9 月推出。
据报道，Cambria 的后续行动已经在进行中。代号为 Funston，预计在 2024 年推出。
至于其他两款耳机，它们是 Meta 更实惠的 Quest 2 耳机的下一代迭代，据报道代号为 Stinson 和 Cardiff，预计分别在 2023 年和 2024 年发布。
但是，Cambria 以外的头显将成为目标的哪些功能仍然有些不清楚。对于围绕计算架构中的一些根本变化构建的头显来说，Meta 认为将 XR 设备或它一直在研究的全息折叠光学器件提升到一个新的水平所必需的还为时过早，尽管可能变焦技术 Meta 已经研究了多年几乎准备好迎接黄金时段了。
值得注意的是，Meta未来的VR 头显或将搭载其自研的用于AI处理的定制加速器芯片。
据外媒ROAD TOVR报道称，Meta Reality Labs的研究人员已经制造了一款VR头戴设备原型机，该原型机可以支持Codec Avatars项目的渲染，并且搭载了专门用于AI处理的定制加速器芯片。
早在Facebook更名为Meta前，该公司就一直致力于Codec Avatars项目，该项目旨在使VR实现“如照片般逼真”的虚拟化身。这一系统结合AI处理和设备上的眼动追踪、嘴巴追踪等传感器，将使用者的脸以最接近真实的方式投射进虚拟世界。
该公司的Codec Avatars研究的早期版本得到了NVIDIA Titan X GPU强大算力的支持。但在Meta最新的Quest 2一体机等设备上，并不能完全发挥其功能。
据称该公司已着手研究如何在低功耗独立耳机上实现 Codec Avatars，上个月发表在IEEE CICC会议上的一篇论文中，Meta透露它正在设计一个采用7nm工艺的定制芯片用于作为Codec Avatars的加速器。
据悉，该芯片的占位面积仅为 1.6mm²，该小组在芯片设计过程中，设计人员考虑了生成Codec Avatars 模型所需要的数据。
“测试芯片采用7nm制程，具有神经网络加速器，由1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU组成。”研究人员说。
反过来，他们还重建了 Codec Avatars AI 模型的一部分，以配合芯片的特定架构。
“我们通过重新构建基于卷积神经网络的眼睛注视模型并针对硬件进行定制，使得模型更加适合芯片。这降低了片外内存访问的能耗和延迟。” Reality Labs研究人员写道。“通过在电路级有效地加速卷积运算，所展示的原型芯片实现了每秒 30 帧的性能，并且功耗低且外形小巧。”
通过加速 Codec Avatars 工作负载的密集部分，该芯片不仅加快了进程，而且还降低了功率及发热。由于芯片的定制设计，它能够比通用 CPU 更有效地做到这一点，然后为 Codec Avatars 的眼动追踪组件的重新架构软件设计提供信息。
虽然定制芯片处理部分 Codec Avatars 编码过程，但 XR2 管理解码过程并渲染化身的实际视觉效果。
得益于专用芯片的加速，Meta的Codec Avatars或许可以在一体机上运行。但目前我们不知道虚拟化身的视觉渲染效果如何。在非一体机上运行时，该模型将用户建模扫描的非常详细，这可能过于复杂，不能在Quest2等一体机上得到完整的呈现。目前还不知道Codec Avatars强大的“逼真”画面在这客观条件的限制下最终呈现的效果会如何。
我们可以想象，一系列XR特定的功能都可以通过这种专门设计的加速芯片来实现。比如在XR世界中实现空间音频是XR玩家们愿意看到的，这可以增加沉浸感。但逼真的声音模拟在实际使用中不仅会增加成本，并且也会影响续航。
另外，位置跟踪和手势跟踪也是XR体验的关键部分，在这些地方将硬件和算法结合起来进行设计可以使XR设备在速度和功率方面取得巨大的提升。
参考链接：Prototype Meta Headset Includes Custom Silicon for Photorealistic Avatars on Standalone
Demi Xia编译
最前沿的电子设计资讯
