Conversa语音套件介绍
来源:恩智浦MCU加油站 发布时间:2023-02-09 分享至微信
Conversa是一个全双工免提电话语音处理综合套件,可全面控制上行和下行音频。Conversa嵌入式多麦克风,全双工语音处理,为扬声器和耳机应用提供终极音质。
无论您是在设计扬声器、耳机、TWS耳机、可穿戴设备还是汽车语音解决方案,都需要将在所有噪音类型中执行的全双工语音处理,而Conversa正是提供此类需求的最佳解答。
Conversa能够将背景的吵杂人声、强风吹拂的声音等等不相干的噪音透过内部的算法将其去除,如同下图中所显示的架构,远程的音频资料收到后或是资频数据要传送之前,Conversa利用内部的SG、NR、EQ等等的模块予以调整出最佳的质量。

目前Conversa在下列的平台上都已经可以支持,其中的i.MX RT500和i.MX RT600更是直接运用强大的DSP资源来做运算

  • i.MX RT500: 跨界MCU, 配备Arm® Cortex®-M33内核

  • i.MX RT600: 跨界MCU,配备Arm® Cortex®-M33和DSP内核

  • i.MX RT1060: 跨界MCU搭载Arm® Cortex®-M7内核

  • i.MX RT1170: 跨界MCU系列——首款GHz MCU,带Arm® Cortex®-M7和Cortex-M4内核

以下用i.MX RT1170为例子,跟各位介绍一下整个的操作流程

首先硬件方面有两种选择,基本上都是基于RT1170 EVK, 初次尝试可以利用耳挂式耳麦直接连接到EVK就可以马上开始做测试,如果要追求最极致的声音体验,可以参考上图的mockup配置,包含一个RT1170 EVK再加上两个喇叭和一个功率放大器。软件包的部分则是基于MCU SDK,並且加上了语音通话框架和微软的预认证。
Conversa软件包包含了三种不同的模式,分别为Conversa模式、USB模式和返回模式。其中的差异是在Conversa模式当中,所收送的声音都会经过Conversa演算的处理。
而在USB模式中,音频数据从USB收进来后就直接到耳机或喇叭,麦克风所收到的声音也是直接透过USB传送出去,皆不会做任何的处理。
如果选择返回模式,那表示从本地端的麦克风所收取的音频数据,直接会接往耳机端传送,在这样的模式之下,可以帮助用户先行厘清Conversa之外的问题并且专注于微调算法的各个参数。
介绍完硬件与软件之后,接下来介绍一些预先定义好的配置。下图展示了根据不同采样率与帧的大小,定义了配置1、配置2跟配置3,同时也说明所需要CPU和内存的资源。

总而言之,不同硬件对应到不同的软件模式再对应到不同的配置,在RT1170上就已经预先准备了许许多多的参数以供使用者使用。其中配置3的情况下又特别针对1.5公尺大小的会议空间convswp3d15、2.3公尺convswp3d23、3.5公尺convswp3d35以及4.5公尺大小convswp3d45,等不同大小尺寸的会议空间事先予以优化。
使用者在执行Conversa的同时可以以命令行的形式输入不同的参数。

成功地执行Conversa之后,用户可以在自己的计算机上找到RT1170的装置。

最后附上Conversa的所有功能列表以供参考

  • 上行和下行音频全面处理

  • 高达Fs=32kHz的超宽带音频

  • 声学回声消除

  • 55dB总回声消除(AEC),包括非线性处理(NLP)

  • 环境降噪

  • 利用机器学习的自适应多麦克风波束成型

  • 风噪消除

  • 处理噪音消除

  • 动态压缩范围

  • 限幅器和静噪

  • 侧音

  • 参数方程式


恩智浦MCU加油站


这是由恩智浦官方运营的公众号,着重为您推荐恩智浦MCU的产品信息、开发技巧、教程文档、培训课程等内容。


长按二维码,关注我们



END



更多恩智浦AI-IoT市场和产品信息,邀您同时关注“NXP客栈”微信公众号




NXP客栈


恩智浦致力于打造安全的连接和基础设施解决方案,为智慧生活保驾护航。





长按二维码,关注我们


[ 新闻来源:恩智浦MCU加油站,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!