具有机器学习功能的专用音频边缘处理器将提供越来越好的通讯体验。
在过去的十年中，尤其是在2020年，疫情造成越来越多的人居家办工，于是对于视频通话和语音设备的需求大幅增加。除了Zoom会议，我们还会使用视频通话进行教学、上锻炼课程、体验现场音乐、进行会议互动等等。这种虚拟形式的参与常通过笔记本电脑、智能手机、平板电脑、智能家庭助理以及其他物联网设备(例如Amazon Echo Show、Facebook Portal、Peloton、Tempo Studio等)进行。
在音频、视频通话或家庭助理应用中，要保证愉快和投入的体验，音质不能受到噪音和其他干扰因素的影响。设备对声音处理的智能程度决定了通讯的顺畅程度。
音频智能(产品制造商也称之为“智能声音”)是设备处理声音以提供最佳用户体验的能力。随着语音优先设备在通信、娱乐和健康管理领域的使用越来越多，更多的功能需要实现无缝、顺滑的体验。
用户现在期望的不仅仅是简单的设备唤醒或关键字捕捉(例如Alexa)，还期望无论是在专业会议还是个人娱乐方面，能够实现设备与应用之间的切换并拥有卓越的音质，从而为用户提供身临其境的无缝体验。设备应该能够将你的语音和/或语音命令与你的个人偏好和环境数据结合起来，以便根据特定情况对你的声音进行处理。这即是情境感知。
情境感知设备包含特定用户的信息，例如位置、偏好和环境传感器数据，因此可以更好地了解用户的需求，从而更加准确地对特定命令或触发做出响应并实现相应的功能。
持续监听(always-listening)设备使用的是结合了机器学习(ML)的信号处理技术，常用于区分自然声音、人声、背景干扰等多种声音。这些声音通常被分为“场景”和“事件”。“场景”是用户所处的环境，例如嘈杂的机场航站楼或安静的工作空间，而“事件”包括：人说话、玻璃破碎或狗吠。情境感知设备可以处理这些声音，确保无论是视频通话还是语音命令，用户都能获得最佳体验。
图1：情境感知系统示意图。(图片来源：Knowles公司)
专用音频边缘处理器搭载了ML优化内核和音频保真，是支持情境感知和高质量音频通信设备的关键。这些处理器可以提供足够的算力，通过使用传统算法和ML算法来处理音频，而耗费的能量只有通用数字信号处理实现的一小部分。
虽然云端处理的优点可能很多，但边缘处理不需要高带宽网络连接，因此用户随时都可以使用设备的全部功能。例如，边缘音频处理器可以对包含情境感知数据的音频进行低延迟处理，同时将感知数据安全地保存在本地，从而让用户有卓越的虚拟通讯体验。
音频边缘处理器必须满足多项性能要求才能提供卓越的音频和语音命令体验。
噪声和距离
采用信号处理算法的波束成形可将声音聚集或引导到特定方向，从而提高音质、抑制噪声，实现日常使用场景中的对话。监听设备用于确定语音和噪声源的方向；ML分类技术用于确定哪些波束中含有语音或噪声。
随后，DSP对只包含语音内容的波束进行下一步的语音UI处理。例如，在会议系统中，设备必须能够识别声音的方向，且须始终360度追踪多个发言者。噪声源也可以被归类为音频事件检测，如玻璃破碎、火警等，从而进一步应用在音频感知智能家居系统。
接近检测对于动态的听说体验也是必不可少的。设备通过检测用户与麦克风的接近程度来调整麦克风的增益，从而为演讲、锻炼和学习环境提供有效的视频功能。这些功能是高级视频会议设备设计的核心，例如亚马逊新推出的Echo Show，其屏幕会随着用户移动而旋转，从而使屏幕始终面向用户。
延迟
人们在通话之前，通常可以容忍最多200ms的端到端延迟。因此，边缘处理器中的低延迟处理是确保高质量语音通讯的关键。
功耗
音频边缘处理器采用了专有架构、硬件加速器和特殊的指令集，因而可以运行最优的音频和ML算法。在音频密集的用例(例如视频会议)中，这些优化有助于降低功耗。
集成
音频边缘处理器的架构和开发环境已经公开，用于研发新设备和应用的工具和支持也已经提供给应用程序开发人员，从而加速创新。未来的音频设备会是协作努力的成果。
安全性
边缘处理可以最大程度地减少对云连接的需求，且有着其他许多好处，包括提高数据的安全性。例如，大多数消费者会介意将个人智能家居设备的数据频繁传输到云端进行处理。过去几年，几家知名设备制造商的重大违规行为证明了消费者的这些担忧不无道理。
在本地设备上处理个人数据并进行分析或推理可以让人安心。这里有一个很好的例子：智能家居安全设备经过训练可以听懂特定事件的声音(例如玻璃破碎)，以此来提醒人们。声音和警报都由边缘处理器进行处理，而不需要持续连接到云端，从而增强了系统的安全性。
专用音频边缘处理器将定义下一代音频和语音设备，创造更多情境感知、沉浸式和无缝的音频通迅体验。它们能够高效地实现低功耗和低延迟的语音通讯、降噪、情境感知和传感器输入端的加速ML推理，使人机交互界面新式用户体验的爆发成为可能。
（原文刊登于EDN姐妹网站Electronic Products，参考链接：Audio edge processors deliver context-aware audio experiences，由Jenny Liao编译。）
本文为《电子技术设计》2021年9月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。
最前沿的电子设计资讯
