語音作為互聯(lián)網(wǎng)的一種入口方式，正在侵入我們的生活，人機(jī)交互的核心——對(duì)話系統(tǒng)，對(duì)交互的應(yīng)用至關(guān)重要，人腦與機(jī)器智能的結(jié)合，能夠突破現(xiàn)有技術(shù)瓶頸嗎？

　　從整個(gè)交互系統(tǒng)接入用戶的輸入信息開始，包括語音、人臉、多模態(tài)情感相關(guān)的信息，我們?cè)趯?duì)話系統(tǒng)里面對(duì)輸入的信息進(jìn)行理解，通過這個(gè)對(duì)話部分以后產(chǎn)生輸出，最后用文字也可以用語音合成展現(xiàn)出來，這就是整個(gè)流程，其中我們關(guān)注的最主要的是語音部分以及對(duì)話系統(tǒng)部分，其他的多模態(tài)今天的分享不會(huì)涉及太多。

　　國內(nèi)研究語音相關(guān)的團(tuán)隊(duì)主要包括科研院所、語音技術(shù)公司以及互聯(lián)網(wǎng)公司三部分：

　　科研院所主要包括高校和科學(xué)院，比如科學(xué)院里有聲學(xué)所、自動(dòng)化所，高校里面研究比較多的清華、北大、西工大、科大、上海交大等，這些都是在語音圈里占有較高位置的老牌隊(duì)伍。

　　語音技術(shù)公司包括我們比較熟悉的科大訊飛、云知聲、極限元、思必馳等。

　　互聯(lián)網(wǎng)公司包括BAT、搜狗等擁有強(qiáng)大的語音技術(shù)團(tuán)隊(duì)來支撐著其本身的很多業(yè)務(wù)。

　　在應(yīng)用對(duì)話系統(tǒng)時(shí)，首先從語音輸入開始要有一些前端處理，包括硬件和軟件的前期處理；接下來是語音內(nèi)容，說話人識(shí)別等相關(guān)的內(nèi)容進(jìn)行判別，對(duì)話系統(tǒng)根據(jù)輸入信息來進(jìn)行對(duì)話邏輯的分析，以及對(duì)應(yīng)語言的產(chǎn)生，最后由語音合成系統(tǒng)來合成語音，在這里重點(diǎn)介紹一下前端處理、語音識(shí)別、說話人識(shí)別語音合成等相關(guān)技術(shù)。

　　前端處理技術(shù)的研究進(jìn)展

　　前端處理包括回升消除、噪聲抑制、混響抑制等技術(shù)，剛開始時(shí)研究前端處理的人員并不多，近年來特別是ECHO的推出，把一些遠(yuǎn)場(chǎng)的問題融入到語音識(shí)別等系統(tǒng)中，所以這部分的研究在這幾年興起比較快，語音識(shí)別的研究從一些簡單的數(shù)據(jù)如手機(jī)的錄音擴(kuò)展到遠(yuǎn)場(chǎng)的語音識(shí)別，這些促進(jìn)了前端處理技術(shù)的發(fā)展，在語音圈里做前端處理比較牛的應(yīng)該是陳景東老師。

　　回聲消除：回聲消除在遠(yuǎn)場(chǎng)語音識(shí)別中是比較典型功能，最典型的應(yīng)用是在智能終端播放音樂的時(shí)候，遠(yuǎn)場(chǎng)揚(yáng)聲器播放的音樂會(huì)回傳給近端麥克風(fēng)，此時(shí)就需要有效的回聲消除算法來抑制遠(yuǎn)端信號(hào)的干擾，這是在智能設(shè)備如音響、智能家居當(dāng)中都需要考慮的問題。比較復(fù)雜的回聲消除系統(tǒng)，近端通過麥克風(fēng)陣列采集信號(hào)，遠(yuǎn)端是雙聲道揚(yáng)聲器輸出，因此近端需要考慮如何將播出形成算法跟回聲消除算法對(duì)接，遠(yuǎn)端需要考慮如何對(duì)立體聲信號(hào)相關(guān)。

　　噪聲抑制：噪聲抑制可以有多通道的也可以有單通道的，今天主要介紹單通道噪聲抑制，單通道語音增強(qiáng)通過DNN的方法進(jìn)行增強(qiáng)，語音信號(hào)是有一個(gè)諧波結(jié)構(gòu)的，通過加入噪聲這個(gè)諧波結(jié)構(gòu)會(huì)被破壞掉，語音增強(qiáng)的主要目的就是抬高波峰，降低波谷，這個(gè)訓(xùn)練對(duì)DNN來說是比較容易的。但是也有實(shí)驗(yàn)研究表明，基于DNN的語音增強(qiáng)對(duì)濁音段效果會(huì)比較好，但對(duì)輕音段效果并不是很好，語音的濁音段有顯著諧波結(jié)構(gòu)，因此要有目的去訓(xùn)練這個(gè)模型。

　　混響抑制：聲音在房間傳輸過程中經(jīng)過墻壁或者其他障礙物的反射后到達(dá)麥克風(fēng)，從而生成混響語音，混響的語音會(huì)受到房間大小、聲源麥克風(fēng)的位置、室內(nèi)障礙物等因素的影響，大多數(shù)的房間內(nèi)混響時(shí)間大概在200–1000毫秒范圍內(nèi)，如果混響時(shí)間過短，聲音會(huì)發(fā)干，枯燥無味，不具備清晰感，混響時(shí)間過長會(huì)使聲音含混不清，需要合適的聲音才能圓潤動(dòng)聽。

　　前端處理涉及的內(nèi)容比較多，除了前面提到的還包括多說話人分離、說話人移動(dòng)過程中的聲音采集、不同的麥克風(fēng)陣列結(jié)構(gòu)、各種噪聲和房間模型如何更好的建模等。

相關(guān)電子資料下載

• 如何使用Rust創(chuàng)建一個(gè)基于ChatGPT的RAG助手 43
• 如何創(chuàng)建FPGA控制的機(jī)器人手臂？ 219
• 如何創(chuàng)建FPGA控制的機(jī)器人手臂 49
• 邁爾微視MRDVS發(fā)布多模態(tài)避障相機(jī)S2 90
• iTR機(jī)器人iScrubbot系列清潔機(jī)器人實(shí)現(xiàn)數(shù)字化管理 136
• 哈爾濱工業(yè)大學(xué)研發(fā)液態(tài)金屬磁性微型軟體機(jī)器人 20
• 智能時(shí)代的三大核心技術(shù) 57
• EPR6-S工業(yè)機(jī)器人通過EtherCAT轉(zhuǎn)profinet網(wǎng)關(guān)接入西門子系統(tǒng) 135
• 智能工廠系統(tǒng)集成解決方案 25
• 奧比中光3D相機(jī)矩陣助力更強(qiáng)機(jī)器人開發(fā) 193