UNIST材料科学与工程系的Jiyun Kim教授及其研究团队开发了一种能够实时识别人类情绪的技术。这项创新技术有望彻底改变各个行业，包括基于情感提供服务的下一代可穿戴系统。
由于情绪、心情和感觉等人类情感的抽象性和模糊性，理解和准确提取情感信息长期以来一直是一个挑战。为了解决这个问题，研究团队开发了一种多模态人类情感识别系统，结合言语和非言语表达数据，有效利用综合情感信息。
该系统的核心是个性化皮肤集成面部接口（PSiFI）系统，该系统具有自供电、轻便、可拉伸和透明的特点。它具有首创的双向摩擦电应变和振动传感器，能够同时感测和集成语言和非语言表达数据。该系统完全集成了数据处理电路，可进行无线数据传输，从而实现实时情绪识别。
具有个性化皮肤集成面部接口 (PSiFI) 的系统概述示意图。图片来源：UNIST
利用机器学习算法，即使个人戴着口罩，所开发的技术也能演示准确、实时的人类情绪识别任务。该系统还成功应用于虚拟现实（VR）环境中的数字礼宾应用。
该技术基于“摩擦充电”现象，即物体在摩擦时分离成正电荷和负电荷。值得注意的是，该系统是自发电的，不需要外部电源或复杂的测量设备来进行数据识别。
Kim教授评论道：“基于这些技术，我们开发了一种可以为个人定制的皮肤集成面部接口（PSiFI）系统。” 该团队利用半固化技术制造用于摩擦充电电极的透明导体。此外，还利用多角度拍摄技术制作了一个个性化的面具，结合了灵活性、弹性和透明度。
研究团队成功整合了面部肌肉变形和声带振动的检测，实现了实时情绪识别。该系统的功能在虚拟现实“数字礼宾”应用程序中得到了展示，该应用程序提供了基于用户情绪的定制服务。
该研究的第一作者 Jin Pyo Lee 表示：“通过这个开发的系统，只需几个学习步骤，无需复杂的测量设备，就可以实现实时情绪识别。这为便携式情绪识别设备开辟了可能性以及未来下一代基于情感的数字平台服务。”
研究团队进行了实时情绪识别实验，收集了面部肌肉变形、声音等多模态数据。该系统以最少的训练表现出较高的情绪识别准确性。其无线和可定制的特性确保了可穿戴性和便利性。
此外，该团队将该系统应用于VR环境，将其用作各种环境的“数字礼宾”，包括智能家居、私人电影院和智能办公室。该系统能够识别不同情况下的个人情绪，从而为音乐、电影和书籍提供个性化推荐。
金教授强调：“为了实现人与机器之间的有效交互，人机界面（HMI）设备必须能够收集不同的数据类型并处理复杂的集成信息。这项研究举例说明了使用情感的潜力，情感是人类的复杂形式信息，在下一代可穿戴系统中。”
该研究发表在《自然通讯》杂志上。
参考链接：World’s First Real-Time Wearable Human Emotion Recognition Technology Developed!；Demi Xia编译
最前沿的电子设计资讯
