广告

头部跟踪功能如何提升您的空间音频体验

2023-07-31 15:34:42 Kaushik Sethunath,音频测试工程师和内容开发人员,CEVA 阅读:
音频已成为我们使用媒体时沉浸感和逼真度的重要组成部分。当前的技术正在加强各种体验本身的沉浸式体验,让它们更加栩栩如生,但如果没有头部跟踪,由于大脑无法解决这种关键的含糊不清问题,这种沉浸感可能会被破坏。

97Nednc

试想一下,您正在街上走路,突然听到右侧有人喊您的名字。您将头转向那个方向。此时,喊您的人就在您的视线前方。但是,当他们再次喊您的名字时,尽管您已经转了头,但听起来声音仍然像是从您的右侧传过来。事实上,无论您做什么或如何转头,无论喊您的人在什么方位,您听到的声音都始终从您的右侧传来。这不符合现实世界的规律。 97Nednc

再或者,如果您在玩开放世界的奇幻电子游戏,您的角色正在探索山顶上的宝藏,情况会怎样?游戏告诉您,您的任务目标,也就是埋藏的宝箱,将开始发出叮当声,越接近宝箱,声音就越大。您可以听到叮当声,但您无法确切分辨声音是来自前方还是后方。当您走动时,您无法分辨声音是变得越来越大、越来越小还是保持不变。那么,您要如何才能找到自己的目标呢? 97Nednc

之所以会这样含糊不清,原因也是一样:当您的头部移动,并且改变其相对于声源的位置时,您的大脑会漏掉现实生活中的细微音频提示。 97Nednc

97Nednc

音频已成为我们使用媒体时沉浸感和逼真度的重要组成部分。当前的技术正在加强各种体验本身的沉浸式体验,让它们更加栩栩如生,但如果没有头部跟踪,由于大脑无法解决这种关键的含糊不清问题,这种沉浸感可能会被破坏。如果您希望获得广泛、引人入胜且令人兴奋的体验,那么在没有头部跟踪的情况下,您的体验将很难达到理想的水平。 97Nednc

我们如何定位现实世界中的声音

对于我们感知周围环境并与之互动的能力而言,声音是不可或缺的一部分。在让我们的大脑快速准确地识别声音的位置和来源方面,我们的两只耳朵发挥着至关重要的作用。例如,来自人左侧的声音会先到达左耳,然后再到达右耳,这称为双耳时间差 (ITD)。由于声音到达右耳需要经过额外的距离,两只耳朵的声压水平也会有差异,这称为双耳声级差 (ILD)。97Nednc

确定声源位置(方向和距离)的过程称为声音定位。但是,我们的听觉系统不仅包括耳朵,还包括大脑、头部、肩部等。声波在到达耳膜之前,会与我们的头部、肩部以及耳朵的耳廓和耳道相互作用。声波与我们听觉系统解剖结构各个部分的相互作用会导致不对称反射,从而导致声源频谱发生变化。97Nednc

耳朵从空间中的一点接收声音的这一过程可以用头部相关传输函数 (HRTF) 来表征。HRTF 测量声音在最终进入耳道之前在人的头部、肩部和耳朵上的散射和反射方式所引起的声音变化。每个人都有一个独特的 HRTF,具体取决于其听觉系统的解剖结构。97Nednc

大脑利用双耳时间差 (ITD)、双耳声级差 (ILD) 和频谱内容差异来定位声音。我们的大脑会持续不断地实时处理所有这些信息,以生成并填充我们周围环境的声音地图。这不仅包括您的左侧和右侧,还包括您的前方和后方,以及上方和下方。这会涵盖您周围的全部空间,包括距离。97Nednc

用音频创造沉浸感

这里我们将引入空间音频的概念。简而言之,这是一个宽泛的总括性术语,用于描述各种音频播放技术,利用这些技术,我们能够在三个维度上感知和体验环绕声。有关详细说明,请查看此博客文章此点播网络研讨会。 97Nednc

例如,在家庭影院中设置传统的 5.1 或 7.1 环绕声扬声器。这是许多人都拥有并十分喜爱的一种设置。但是,这种设置具有以下缺点:97Nednc

i) 需要高质量的扬声器,其价格可能相当昂贵97Nednc

ii) 拥有一间声音效果足够好或经过声学处理的房间,以便能够充分享受这些扬声器的效果(而不会打扰邻居!)97Nednc

iii) 需要专业知识来优化该房间中这些扬声器的性能。97Nednc

传统头戴式耳机、头戴式配麦耳机和耳塞式耳机的另一个问题是,它们往往会给人一种所有声音都源自头部的感觉。  空间音频技术通过以下方式解决了这两个问题:97Nednc

 i) 支持我们创造沉浸式、引人入胜和逼真的声景,同时可轻松应用于头戴式耳机、头戴式配麦耳机和耳塞式耳机,从而大大降低了入门门槛,提高了易用性。   97Nednc

ii) 支持我们将声音外化,并为听众创造沉浸式声景。这使我们解决了传统头戴式耳机、头戴式配麦耳机和耳塞式耳机的一个基本问题,声场随您一起移动,而当我们收听外部扬声器或与周围现实世界互动时,就不会发生这种情况。 97Nednc

沉浸感是如何被破坏的

试想一下,您正在马路的人行道上行走,一辆汽车在您的左侧按喇叭。如果您转头看向汽车,这辆鸣笛的汽车现在应该就在您视线正前方。声场相对于外部世界保持静止,改变的是您头部的方向。好了,让我们再来试想一下,您正在戴着耳机观看电影,在电影中,一辆汽车在您的左侧按喇叭。如果您朝该方向转头,声场将会随您一起移动,因为声场与耳机锁定,所以不会根据您的头部运动改变声音。这与现实世界发生的情况形成鲜明对比,也是导致头部声场崩溃、沉浸感被破坏的根本原因之一。  97Nednc

97Nednc

图1:未启用头部跟踪的空间音频97Nednc

另一个可能出现的问题是前后混淆。我们人类不太擅长区分与每只耳朵等距离的两个相同声音,即使一个声音在我们前面,一个在我们后面,特别是如果声音来自锥形混淆区。锥形混淆区是一种从头部中心向外延伸的想象锥形区域,因此,位于该锥形区圆形底部轨迹各点上的任何声源都与耳朵等距。请参阅此示意图: 97Nednc

97Nednc

图2:锥形混淆区97Nednc

从该图中可以看出,两个声源 A 和 B 都位于锥形混淆区上,距双耳的距离相等。因此,尽管一个声源在前面,一个在后面,但它们产生相同的 ITD 和 ILD,因此很难区分和定位,从而会导致前后混淆。 97Nednc

通过移动头部体验真实声场

现在,如果我们在这种等距混淆局面中添加头部跟踪器,情况会怎样?通过添加头部跟踪器,空间处理便可以解析头部相对于声场虚拟中心的运动,并根据头部运动调整 ITD、ILD 和 HRTF。  这使声场能够固定在空间中。当您将头部转向某个声音时,您会听到该声音位于您的前方。这些对细微动作的精确响应不仅是解决前后混淆问题的关键因素,也是创造沉浸式用户体验的关键因素。97Nednc

试想一下,您正在玩一款高度沉浸式虚拟现实的第一人称射击游戏 (FPS)。您加载并进入一个外星飞船关卡,那里一片漆黑,没有一丝光线,而且还有外星人在您周围四处走动。如果您听到的脚步声恰好源自于锥形混淆区,那么将很难进行定位。但是,如果使用了头部跟踪器,您头部的细微动作以及实时向您大脑提供的信息将会极大地解决前后混淆问题,让您能够准确定位那些外星人的脚步声。  97Nednc

97Nednc

图3:启用头部跟踪的空间音频97Nednc

同样,在没有视觉提示的情况下,我们也难以衡量声源的高度。如果您使用扬声器(配置了环绕声)或传统耳机,则很难感受到在您上方的声源。空间音频技术可以创建和渲染必要的滤波器和线索,支持用户感知高度。在混音中添加头部跟踪器,再次强调一下,头部的细微动作以及声景对这些动作的反应方式将帮助您准确定位躲藏在上方通风井中的外星人!瞧,您成功通过了可怕的外星飞船黑暗关卡。做得好!97Nednc

乏善可陈还是一鸣惊人?

如果没有头部跟踪功能,您的音频体验的逼真度和沉浸感将大大受限。通过该功能,我们不仅能够将声音外化,防止头部声场崩溃,还能在我们周围的三维空间准确将其定位,从而解决诸如前后混淆等含糊不清问题。 97Nednc

如果您对这项技术感兴趣,希望增强您的可听戴设备,不妨了解一下我们的 RealSpace 解决方案!RealSpace 是一款搭载了头部跟踪技术的多声道、双耳渲染引擎,可带来真正的沉浸式体验。RealSpace 能够直接在 TWS 或音频耳机上将单声道、立体声、多声道或环绕声音频内容渲染为双声道空间音频。RealSpace 可应用于多种平台,包括个人电脑/笔记本电脑、手机、VR/AR 设备以及用于耳机或 TWS 的嵌入式 DSP。RealSpace 基于精确的物理环境建模,可营造令人难忘的沉浸式音频体验。97Nednc

责编:Franklin
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了