发表于Nature!基于可穿戴设备无线柔声语音交互系统

点击上方蓝字,关注我们!

慧睿阳

资源共享 合作共赢

WSIE YOUNG以可穿戴设备形式,结合硬件-软件-算法-ai-结构化报告-服务器部署等一站式服务,进行合作研发、技术支持、个性化VIP定制可穿戴设备,部分产品支持采购、开放式的合作模式,欢迎全球代理商及合作伙伴。我们诚挚邀请您加入我们的合作网络,携手共创AI科技的新未来,期待与您共同推动运动科技的发展,实现共赢!
联系人:何女士
联系邮箱:heluanluan@wiseyoung.cn
We Chat搜索:wiseyoungai/13046699098
这篇发表于Nature Communications的论文Machine learning-assisted wearable sensing systems for speech recognition and interaction,介绍了一种基于机器学习的可穿戴无线柔性声学传感器(SAAS),用于语音识别和人机交互,在嘈杂环境下展现出卓越性能。
压电微机械超声换能器PMUT(上)原理与应用 - 知乎

SAAS设计与原理:SAAS以压电微机械超声换能器(PMUT)为核心,采用软电子和弹性体封装技术,增强集成度和佩戴舒适性。PMUT将喉部声学信号转换为电信号,通过对材料和结构优化,提升了传感器性能。SAAS采用分布式布局,降低电路噪声干扰,提高信噪比。

实验介绍
1.可附着声学传感器

包含语音识别系统实现人机交互的示意图、可附着声学传感系统的爆炸图、PMUT 的结构示意图、SAAS 的整体工作流程图、SAAS 在语音识别和交互中的应用示意图。

2.设备的设计原理和特性
基于 SOI 晶圆的声学传感器三维结构横截面图、不同材料和形状的声学传感器相关参数的有限元模拟对比、PMUT 的正面和背面照片、制备的声学芯片的光学显微镜图像和微元件特写、制备的声学芯片的 Mo/ScAlN/Mo 膜结构的 SEM 横截面图、MEMS 芯片在空气中的电阻抗幅值和相位的谐振频率响应、封装后的 MEMS 传感器在水中低频宽带范围内的灵敏度测试曲线、柔性设备在未变形、扭转、弯曲和拉伸状态下的图像。

3.恶劣声学环境下语音检测的对比实验

在安静环境、嘈杂环境和佩戴口罩三种情况下的对比测试照片、参与者说 “CQU” 时 SAAS 在不同环境下的声音信号时域波形和频谱信息、商业参考麦克风在不同环境下的声音信号时域波形和频谱信息、测试对象在 9 个喉部附着位置和动作的照片、通过 SAAS 在 9 个喉部附着位置和动作下说 “Perfect” 时获得的时域波形。

4.基于 SAAS 的身份识别演示

音素、声调和相似发音单词分类任务的混淆矩阵、通过数据收集、深度学习和实时显示实现身份识别系统的示意图、不同参与者说 “hello world” 时的声学信息、身份识别的混淆矩阵。

5.使用 SAAS 控制虚拟游戏和机器狗

实时无线人机交互控制系统示意图、在吃豆人游戏中语音指令 “上”“下”“左”“右” 的演示、通过语音指令远程无线控制机器狗执行动作的演示。

6.基于 SAAS 的语音识别系统在人际交互中的应用

通过数据处理、分类和实时显示实现交互系统的示意图、从参与者日常对话中收集的 10 个句子样本的波形和相应频谱图、句子识别任务的混淆矩阵、训练和测试数据在 60 次迭代期间的归一化准确率、T-SNE 算法处理 60 次迭代后的特征向量矩阵。

在抗干扰语音识别实验中,SAAS在嘈杂环境和佩戴口罩等情况下,识别效果优于商业麦克风。在语音识别和身份认证测试里,SAAS对音素、声调和相似发音单词分类的准确率高,用于身份认证时,对“Hello World”短语分类准确率达100%。在人机交互实验中,SAAS能有效控制虚拟游戏和机器人狗,展现了在多种场景中的适用性。针对言语障碍者的语音交互实验表明,基于SAAS开发的语音恢复系统可实现有效沟通,分类准确率达99.8%。

对可穿戴设备的发展的作用

1.优化性能表现:SAAS 的核心部件 PMUT 性能卓越,高灵敏度、宽频带且平坦度好。其优化的材料与结构,以及独特的布局、封装技术,降低了电路噪声干扰,提升了可穿戴设备在声音信号采集等方面的性能。

2.拓展功能种类:SAAS 不仅能进行语音识别,还可用于身份认证与人机交互。这为可穿戴设备在信息安全和交互控制等方面挖掘更多功能提供了思路,有助于提升用户体验。

3.拓宽应用场景:SAAS 在嘈杂环境、特殊任务执行和辅助言语障碍患者交流等场景都展现出应用潜力,有助于可穿戴设备进入医疗、工业、娱乐等更多领域,满足不同群体和特殊场景的需求。

4.指引技术方向:文章提及的研发新型薄膜材料、优化 MEMS 声学传感器加工技术和开发专用集成电路等未来研究方向,为可穿戴设备技术的持续创新和产业发展提供了指引。