广告

如何评估3D音频解决方案

2022-06-23 09:00:00 CEVA高级营销专员Charles Pao 阅读:
沉浸式3D/空间音频,与XR/360视频相结合,给您带来宛若置身于茂密深林的视听体验——飘落的细枝在脚下嘎吱作响,一头鹿向东原跑去,当您的目光追着一只红衣凤头鸟而远去时,您能听见它扇动翅膀的声音。精准的头部跟踪有助于提供逼真的用户体验(UX),了解评估解决方案的关键因素,可以帮助您在不断发展的行业中找到方向。

沉浸式3D/空间音频,与XR/360视频相结合,给您带来宛若置身于茂密深林的视听体验——飘落的细枝在脚下嘎吱作响,一头鹿向东原跑去,当您的目光追着一只红衣凤头鸟而远去时,您能听见它扇动翅膀的声音。p91ednc

精准的头部跟踪有助于提供逼真的用户体验(UX),了解评估解决方案的关键因素,可以帮助您在不断发展的行业中找到方向。p91ednc

头部跟踪的关键因素

为了便于理解,本文内容总结了头部跟踪中的关键因素。p91ednc

  • 延迟:它指视听信号从视听源发出到被用户感知之间的时间差。依据本文的目的,我们将其分为两部分。
    • 音频输入延迟:它指音频信号从音频源发出到被用户感知之间的时间差。
    • 头部跟踪延迟:它指当您的头部移动时,3D音频处理变化以适应新的头部方向的时间差。
  • 头部跟踪准确度:在本文中,我们讨论的是仅跟踪方向的3-DOF头部跟踪,而不是跟踪位置和方向的6-DOF头部跟踪。准确度指实际运动与其在扩展现实(XR)环境中对应位置之间的测定差。如果传感器(及其算法)不准确,您可能能够实时跟踪头部运动,但在虚拟环境中的运动与现实中的运动会存在差异。
  • 头部跟踪平滑度:它指头部转变方向时,3D音频转换的清晰和可察觉程度。您希望创造一种不受跳跃影响的XR体验。突然改变的输出会破坏沉浸式的体验感,在游戏过程中,甚至会导致死机。

测试因素

头部跟踪延迟

在没有合适的测量设备的情况下,对延迟进行测试并不简单,但可以用主观的方法进行测试。柏林工业大学TU Berlin音频通信团队的一项研究表明,人类受试者的平均检测水平为108ms,单声源的绝对检测阈值为52至73ms。这里需要澄清的是,该团队研究的是“总系统延迟”,它指说话者的音频输出和设备输出之间的时间差。研究得出的结论是,人类平均需要经过108ms才能注意到运动的变化。当从单个来源播放声音时,声音会更加明显。p91ednc

收听预录制的音乐或其他受限音频的内容时,此延迟不会有任何影响。但是,对于录制的视频而言,如果显示器没有延迟图像解决音频输入延迟的问题,则可能会出现口型同步问题。对于视频游戏而言,您不希望出现画面延迟的状况,因为画面延迟会影响到玩家的游戏表现,因此低音频延迟对保持声音与游戏画面同步来说非常重要。延迟在一定程度上会一直存在,但关键是要尽量减少延迟,这样用户就不会察觉到延迟的影响。p91ednc

在空间音频系统中,通常应用头相关变换函数(HRTF),混响或其他室内模拟技术,通过空间处理过的空间音频输入来映射头部跟踪数据。完成此处理后,有几种常用方法可以实现空间音频系统。p91ednc

p91ednc

如果您在音频设备本机上运行空间处理算法,由于无线通信技术的影响,仅会增加音频的输入延迟。由于头部跟踪路径中没有无线链路,头部跟踪的延迟仍然很低。这是在同一设备上同时执行空间处理和头部跟踪的一个关键优势。p91ednc

p91ednc

另一种方法是在手机等移动设备上执行空间音频处理。头部跟踪信息从可听设备发送至移动设备,移动设备会对其进行处理,然后将其推回给用户。由于存在额外的通信链路,与前一种方法相比,此方法会加大头部跟踪的延迟。通过蓝牙技术可将音频从电话传输到耳机,蓝牙延迟取决于使用的音频编解码器。较快的编解码器的延迟可低至50-80ms,但较常见的编解码器的延迟可达170-270ms。头部跟踪数据通常会增加50-100ms的延迟。p91ednc

p91ednc

通过对空间音频系统的理解和人类延迟检测的研究,我们可以大致了解空间音频系统延迟的优劣情况。试着使用更高频的声音来测试延迟。低频噪声的方向性不显著(这就是为什么立体声系统通常只有一个低音炮)。p91ednc

用于测试延迟的优质声源是一种连续的声音,可以很好地定位。理想情况下,此声源需混合多个频率的声音,但为了便于测试的说明,请考虑用不断播放的高频音频测试延迟。较高的频率更易于识别,而恒定音调可以让您注意到音频图像中的不同变化。p91ednc

假设您的耳机的头部跟踪延迟为200ms。若要获得良好的音频渲染效果,我们希望音频图像的移动范围不超过5°。这意味着用户需要始终以低于25°/s的速度移动。为了帮助您更好地想象,这意味着在3.6s内将您的头部旋转90°。这种移速相当缓慢,您在正常情况下的移动速度比这快得多。p91ednc

在测试中,如果您在大约1/4s内将头部旋转90°,您将以360°/s的速度移动。200ms的延迟意味着声源将移动72°,但是它仅在200ms的时间内处于错误的位置。在测试中,以连续的声音作为参考,可以轻易辨别延迟情况。p91ednc

准确度、精确度和平滑度

准确度与运动与真实世界/真实答案的差距有关。精确度与您获得相同答案的一致性有关。只有使用带有磁力计的完整9轴解决方案,才能测量出真正的准确度。但是,由于音频技术使用了磁性驱动器,以及不断变化的用户环境,使用完整的9轴头部跟踪解决方案并不切实际。这就是为什么大多数空间音频硬件只使用加速计和陀螺仪的原因。p91ednc

测试精确度和平滑度有点棘手,但使用您的空间音频软件,应该能够测试它们的运行效果。清晰的语音音频(如播客)可能是测试这些标准的最佳工具。在播客中,说话者处于固定位置,所以无论您把头转至哪个方向,说话者的声音都应该来自同一个位置。当您移动头部时,3D音频应该会发生从一个位置到另一个位置的变化,而音量或音质不会出现明显的落差或变化。p91ednc

3D/空间音频耳机中的陀螺仪传感器容易发生偏移,这会降低耳机的整体精度。软件将为您提供多个选项:手动复位,慢速稳定或快速稳定。p91ednc

如果您未调整偏移,会发现随着时间的推移,人们在房间里移动的速度很慢。也许他们一开始在您的正前方,但现在位于中心偏左的位置。这种效果是不理想的。您可以通过点击(设备物或软件上)指定的按钮来手动复位设备,说出“我再次直视前方”,并重新设置偏移度。但是,随着时间的推移,偏移度仍然会逐渐增加。缓慢复位方法利用了您的头部朝向视线对象这一事实。通过做出此假设,它可以在几分钟内重置陀螺仪偏移。快速复位方法利用了同样的思路,但是相比而言,可以在几秒钟之内立即实现移动。p91ednc

您需根据具体的使用情形,选择理想的自动复位方法。如果您看向屏幕的同一方向,快速复位则是理想的选择,因为偶尔看向屏幕以外的位置不会影响复位,并让您的视线落点保持在中心位置。在活动开始时,重置“正前”方向可以指引复位,让您不必花费几分钟的时间等待算法调整。但是,如果您在家中的多个屏幕上玩游戏,在手机上玩动作游戏,或者在公园里散步,您的方向就会频繁变化。快速复位能够更好地跟上以上场景的方向变化。p91ednc

当您转着头听播客时,试着注意声音在空间里的追踪效果,以及当声音移动时,声音位置变化的平滑程度(或者您是否注意到移动)。空间音频的流畅性主要体现在声音在位置转换过程中的清晰度。无论是缓慢还是快速转动头部,您能察觉到的音频位置的清晰变化都是平滑算法的标志。如果您在头部移动时注意到音频跳跃或明显量化的现象,这可能是跳转校正的迹象,或者传感器/系统无法平滑转换运动。p91ednc

随着大型科技公司创造出各种3D/空间音频的集成产品,3D/空间音频正成为世界的主流。产品越多,您就越需要了解如何挑选最佳产品。尽管以上评估在很大程度上代表了本人的主观看法,但我希望通过解释评估与测试背后的想法与逻辑,为您在3D/空间音频的世界里畅游提供一些指引。p91ednc

责编:Franklin
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了