2023年上半年，多家AR/VR廠商相繼發(fā)布新品。隨著技術(shù)的成熟，以及消費(fèi)者需求升級，如今的VR頭顯、AR智能眼鏡不只帶有娛樂功能，應(yīng)用場景拓展至教育、醫(yī)療、交通、旅游等多個(gè)領(lǐng)域。多位業(yè)內(nèi)人士認(rèn)為，AR智能眼鏡是最有可能取代智能手機(jī)的消費(fèi)品。

進(jìn)一步需要思考的是，什么樣的AR智能眼鏡能成為智能手機(jī)之后的第二大電子產(chǎn)品呢？另一方面，今年Q1中國VR/AR市場出現(xiàn)下滑，性能提升成為VR/AR帶動(dòng)XR市場上升的關(guān)鍵，為此多家廠商相繼發(fā)力音質(zhì)、畫質(zhì)技術(shù)。針對VR/AR設(shè)備的技術(shù)迭代方向以及市場趨勢，電子發(fā)燒友網(wǎng)與樓氏電子AISONIC DSP部門業(yè)務(wù)負(fù)責(zé)人廖彬彬 (Robin Liao) 就VR/AR設(shè)備的聽覺體驗(yàn)進(jìn)行了深度的交流。


音效處理單元在AR設(shè)備中做了哪些工作

視覺效果和聽覺效果是AR/VR設(shè)備最重要的兩大體驗(yàn)。Robin表示在聽覺效果方面，一是需要注意音效，二是在使用AR設(shè)備時(shí)會用到的通話功能，“語音通話能不能比較好地上傳到設(shè)備里面，并且在語音通話中需要降噪，回聲消除等技術(shù)，這些功能的實(shí)現(xiàn)都需要用到麥克風(fēng)和DSP芯片”。

一般而言，VR頭顯或者AR智能眼鏡需要用到什么樣的技術(shù)取決于它要實(shí)現(xiàn)哪些功能。就拿VR/AR最基礎(chǔ)的游戲功能來講，沉浸式是最重要的音效體驗(yàn)之一。為了實(shí)現(xiàn)更加豐富的聲場，“雙降噪麥克風(fēng)陣列”“立體雙揚(yáng)聲器”成為品牌廠商發(fā)布會上的關(guān)鍵詞。

例如AR智能眼鏡廠商XREAL（原名Nreal）在去年推出的XREAL Air帶有立體雙揚(yáng)聲器，搭配雙降噪麥克風(fēng)陣列，可以帶來沉浸式空間聲場。部分戰(zhàn)術(shù)競技游戲?qū)?a target="_blank">音頻細(xì)節(jié)的要求比較高，比如近期較為火爆的騰訊游戲《絕地求生》，能否清晰地出現(xiàn)腳步聲對游戲玩家來說是決定勝負(fù)的關(guān)鍵。

聽覺效果是AR/VR設(shè)備感知體驗(yàn)的另一個(gè)重要感知。那么，VR頭顯和AR智能眼鏡分別需要怎么樣的音頻系統(tǒng)？

從使用場景來看，VR頭顯一般用于游戲場景會比較多，因此對音效的要求比通話的要求高，相對應(yīng)的是，對音頻輸出的要求也會更高，對音頻的上行要求相對較低。另一方面，VR頭顯的體積比AR智能眼鏡要大，因此低功耗的要求也就相對沒有那么強(qiáng)。

再來看AR智能眼鏡的特點(diǎn)，一是因?yàn)樵O(shè)備體積問題，所以對麥克風(fēng)、DSP等元器件的低功耗要求都比較高；二是聲學(xué)元器件小型化；三是在使用場景上，一般AR智能眼鏡更多會用來看電影、聽音樂、接收信息，甚至是打電話等，在通話過程中對降噪等技術(shù)有更高的要求。

那么，麥克風(fēng)等聲學(xué)器件與降噪算法等音頻技術(shù)之間可以怎么配合實(shí)現(xiàn)聲音的處理呢？以AR智能眼鏡為例，Robin表示，樓氏電子已有量產(chǎn)的DSP芯片，配合上行算法，能夠?qū)崿F(xiàn)高清的通話質(zhì)量。

此前在電子發(fā)燒友網(wǎng)的拆解中，發(fā)現(xiàn)XREAL Air（原名Nreal Air）音頻處理單元采用了全向MEMS麥克風(fēng)的降噪設(shè)計(jì)，用以消除周圍環(huán)境中的回聲與噪聲。XREAL Air一共使用了兩顆音頻處理芯片，其中一顆采用的是樓氏電子的DSP芯片IA8201。

圖：XREAL Air音效處理單元
（電子發(fā)燒友網(wǎng)攝）

Robin介紹，IA8201在XREAL Air上需要做兩件事：一是上行的語音通話處理。例如打電話時(shí)的拾音，然后把這個(gè)聲音清晰地傳遞給對方，此時(shí)DSP需要做降噪、回聲消除，甚至是低功耗語音喚醒等功能。二是下行的音效處理，樓氏電子與合作伙伴合作，在DSP芯片IA8201中加入了音效算法，用以提升AR智能眼鏡在看電影、聽音樂的音效體驗(yàn)。

應(yīng)用在AR設(shè)備上的DSP芯片需要具備高算力、低功耗的特點(diǎn)。一是因?yàn)镈SP芯片要運(yùn)行音效算法，需要算力足夠強(qiáng)大。二是因?yàn)锳R設(shè)備的很多AI應(yīng)用不接電源，對低功耗有更大的要求。IA8201正好滿足這兩大方面的要求。

對于VR設(shè)備，Robin表示很多VR設(shè)備在聽覺效果上的需求跟AR智能眼鏡是重復(fù)的。因此上述提到的針對AR智能眼鏡的解決方案也能用于VR設(shè)備上。不一樣的是VR設(shè)備對輸出音效的要求會更高，另一方面VR設(shè)備有更大的空間去裝音效處理單元。

作為業(yè)內(nèi)知名聲學(xué)元器件廠商，樓氏電子推出的動(dòng)鐵單元能夠更好的應(yīng)用于VR設(shè)備中，并且提升VR設(shè)備的聽覺體驗(yàn)。動(dòng)鐵單元能夠提升中高頻的音質(zhì)、高采樣率的音質(zhì)，并且實(shí)現(xiàn)無損音質(zhì)傳輸。同樣，VR設(shè)備也需要用到音效算法，通過DSP芯片+動(dòng)鐵單元的組合，在DSP上加入算法，能夠在一定程度上提升整體的音質(zhì)。

XR品牌廠商混戰(zhàn)AI技術(shù)，音效提升有哪些技術(shù)難點(diǎn)

從去年至今，業(yè)內(nèi)發(fā)布或者曝光的VR設(shè)備和AR智能眼鏡新品不在少數(shù)。電子發(fā)燒友網(wǎng)整理了2022年至今發(fā)布的部分AR智能眼鏡新品，從這些新品可以發(fā)現(xiàn)兩大趨勢：

一是在AR智能眼鏡中加入攝像頭成為新的趨勢，這些攝像頭能夠帶來手勢交互、混合現(xiàn)實(shí)錄制等更多的功能，例如李未可的Meta Lens S1加入了120°廣角+800 萬主攝像頭，XREAL Air加入了雙目SLAM攝像頭+RGB攝像頭，Rokid Max Pro加入了單攝像頭。

二是AR智能眼鏡的人機(jī)交互升級，從支持語音交互，到SLAM 手勢交互，再到AIGC出現(xiàn)，加入了AI數(shù)字人的交互方式。在今年MWCS 2023年期間，中興旗下品牌努比亞推出nubia Neo Air正是加入了AIGC，通過接入GPT模型能夠?qū)崿F(xiàn)語音助手聊天、語音查資料等功能。

圖：部分AR設(shè)備廠商產(chǎn)品情況
電子發(fā)燒友網(wǎng)根據(jù)公開資料制圖

毫無疑問，不管是VR設(shè)備還是AR設(shè)備，聲學(xué)元器件都在終端升級過程中出現(xiàn)了新的挑戰(zhàn)，一是低功耗，這幾乎是所有電子產(chǎn)品的追求；二是在有限的設(shè)備空間中，麥克風(fēng)、動(dòng)鐵單元等元器件需要在小尺寸的同時(shí)，滿足VR/AR設(shè)備對音質(zhì)的要求。那么，樓氏電子有哪些解決方案可以應(yīng)用新的技術(shù)要求呢？

在低功耗方面，VR設(shè)備、AR智能眼鏡的AI功能需要芯片有更高的算力以及低功耗水平。Robin舉了個(gè)例子，在佩戴AR智能眼鏡玩游戲過程中，想通過AI喚醒的功能打電話，此時(shí)就需要做到低功耗待機(jī)，又要用比較高的效率接收喚醒的信息。這些功能都需要一顆低功耗的DSP來實(shí)現(xiàn)。

在小型化方面，樓氏電子的動(dòng)鐵單元比普通的聲學(xué)元器件都要小，例如RAN-33860-B148的尺寸僅為5.1×2.8×2.0mm。此外，樓氏電子還推出了智能麥克風(fēng)IA-610和IA-611，由MEMS麥克風(fēng)和DSP整合在一個(gè)超微型封裝，尺寸跟一顆麥克風(fēng)的大小一樣?！叭绻蛻魧臻g有極限的要求，放不了DSP，但又需要DSP做簡單的語音處理，采用智能麥克風(fēng)就能最大化節(jié)省空間，并且降低客戶整體成本?！盧obin表示。

面對AR/VR設(shè)備的市場需求，樓氏電子圍繞音頻DSP、MEMS麥克風(fēng)、動(dòng)鐵單元三大產(chǎn)品線推出完整的音頻解決方案，也就是說除了元器件之外，樓氏電子還有完整的軟件和算法。“如果終端客戶的產(chǎn)品側(cè)重在通話處理，可以選擇音頻DSP+MEMS麥克風(fēng)的解決方案，如果側(cè)重于音效體驗(yàn)，可以選擇音頻DSP+動(dòng)鐵單元的解決方案。”上述提到的IA-610智能麥克風(fēng)就是一個(gè)開放式的DSP平臺，能夠讓合作客戶快速推出定制化功能。