來(lái)自UC Berkeley和MIT的研究人員開發(fā)了一種AI算法，可以根據(jù)說(shuō)話聲音來(lái)預(yù)測(cè)說(shuō)話人將作出怎樣的肢體動(dòng)作。所預(yù)測(cè)的動(dòng)作十分自然、流暢，本文帶來(lái)技術(shù)解讀。

人在說(shuō)話的時(shí)候，常常伴隨著身體動(dòng)作，不管是像睜大眼睛這樣細(xì)微的動(dòng)作，還是像手舞足蹈這樣夸張的動(dòng)作。

最近，來(lái)自UC Berkeley和MIT的研究人員開發(fā)了一種AI算法，可以根據(jù)說(shuō)話聲音來(lái)預(yù)測(cè)說(shuō)話人將作出怎樣的肢體動(dòng)作。

研究人員稱，只需要音頻語(yǔ)音輸入，AI就能生成與聲音一致的手勢(shì)。具體來(lái)說(shuō)，他們進(jìn)行的是人的獨(dú)白到手勢(shì)和手臂動(dòng)作的“跨模態(tài)轉(zhuǎn)換”(cross-modal translation)。相關(guān)論文發(fā)表在CVPR 2019上。

研究人員收集了10個(gè)人144小時(shí)的演講視頻，其中包括一名修女、一名化學(xué)教師和5名電視節(jié)目主持人(Conan O’Brien, Ellen DeGeneres, John Oliver, Jon Stewart, 以及Seth Meyers)。

演講視頻數(shù)據(jù)集

他們使用現(xiàn)有的算法生成代表說(shuō)話者手臂和手位置的骨架圖形。然后他們用這些數(shù)據(jù)訓(xùn)練了自己的算法，這樣AI就可以根據(jù)說(shuō)話者的新音頻來(lái)預(yù)測(cè)手勢(shì)。

圖1：從語(yǔ)音到手勢(shì)的轉(zhuǎn)換的示例結(jié)果。由下往上：輸入音頻、由我們的模型預(yù)測(cè)的手臂和手的姿態(tài)，以及由Caroline Chan等人在“Everybody Dance Now”論文中提出的方法合成的視頻片段。

研究人員表示，在定量比較中，生成的手勢(shì)比從同一說(shuō)話者者隨機(jī)選擇的手勢(shì)更接近現(xiàn)實(shí)，也比從一種不同類型的算法預(yù)測(cè)的手勢(shì)更接近現(xiàn)實(shí)。

圖2：特定于說(shuō)話者的手勢(shì)數(shù)據(jù)集

說(shuō)話者的手勢(shì)也是獨(dú)特的，對(duì)一個(gè)人進(jìn)行訓(xùn)練并預(yù)測(cè)另一個(gè)人的手勢(shì)并不奏效。將預(yù)測(cè)到的手勢(shì)輸入到現(xiàn)有的圖像生成算法中，可以生成半真實(shí)的視頻。

研究團(tuán)隊(duì)表示，他們的下一步是不僅根據(jù)聲音，還根據(jù)文字稿來(lái)預(yù)測(cè)手勢(shì)。該研究潛在的應(yīng)用包括創(chuàng)建動(dòng)畫角色、動(dòng)作自如的機(jī)器人，或者識(shí)別假視頻中人的動(dòng)作。

為了支持對(duì)手勢(shì)和語(yǔ)音之間關(guān)系的計(jì)算理解的研究，他們還發(fā)布了一個(gè)大型的個(gè)人特定手勢(shì)視頻數(shù)據(jù)集。

方法詳解：兩階段從語(yǔ)音預(yù)測(cè)視頻

給定原始語(yǔ)音，我們的目標(biāo)是生成說(shuō)話者相應(yīng)的手臂和手勢(shì)動(dòng)作。

我們分兩個(gè)階段來(lái)完成這項(xiàng)任務(wù)——首先，由于我們用于訓(xùn)練的唯一信號(hào)是相應(yīng)的音頻和姿勢(shì)檢測(cè)序列，因此我們使用L1回歸到2D關(guān)鍵點(diǎn)的序列堆棧來(lái)學(xué)習(xí)從語(yǔ)音到手勢(shì)的映射。

其次，為了避免回歸到所有可能的手勢(shì)模式的平均值，我們使用了一個(gè)對(duì)抗性鑒別器，以確保產(chǎn)生的動(dòng)作相對(duì)于說(shuō)話者的典型動(dòng)作是可信的。

任何逼真的手勢(shì)動(dòng)作都必須在時(shí)間上連貫流暢。我們通過(guò)學(xué)習(xí)表示整個(gè)話語(yǔ)的音頻編碼來(lái)實(shí)現(xiàn)流暢性，該編碼考慮了輸入語(yǔ)音的完整時(shí)間范圍s，并一次性(而不是遞歸地)預(yù)測(cè)相應(yīng)姿勢(shì)的整個(gè)時(shí)間序列p。

我們的完全卷積網(wǎng)絡(luò)由一個(gè)音頻編碼器和一個(gè)1D UNet轉(zhuǎn)換架構(gòu)組成的，如圖3所示。

圖3：語(yǔ)音到手勢(shì)的翻譯模型。

一個(gè) convolutional audio encoder對(duì)2D譜圖進(jìn)行采樣并將其轉(zhuǎn)換為1D信號(hào)。然后，平移模型G預(yù)測(cè)相應(yīng)的2D姿勢(shì)序列堆棧。對(duì)真實(shí)數(shù)據(jù)姿勢(shì)的L1回歸提供了一個(gè)訓(xùn)練信號(hào)，而一個(gè)對(duì)抗性辨別器D則確保預(yù)測(cè)的動(dòng)作既具有時(shí)間一致性，又符合說(shuō)話者的風(fēng)格。

我們使用UNet架構(gòu)進(jìn)行轉(zhuǎn)換，因?yàn)樗腷ottleneck為網(wǎng)絡(luò)提供了過(guò)去和未來(lái)的時(shí)間上下文，而skip connections允許高頻時(shí)間信息通過(guò)，從而能夠預(yù)測(cè)快速移動(dòng)。

定量和定性結(jié)果

圖4：我們訓(xùn)練過(guò)的模型是特定于人的。對(duì)于每個(gè)說(shuō)話者的音頻輸入(行)，我們應(yīng)用所有其他單獨(dú)訓(xùn)練的說(shuō)話者模型(列)。顏色飽和度對(duì)應(yīng)于待測(cè)集上的L1損耗值(越低越好)。對(duì)于每一行，對(duì)角線上的項(xiàng)都是顏色最淺的，因?yàn)槟Ｐ褪褂糜?xùn)練對(duì)象的輸入語(yǔ)音效果最好。

表1：在測(cè)試集上使用L1損失的語(yǔ)音到手勢(shì)轉(zhuǎn)換任務(wù)的定量結(jié)果(越低越好)

圖5：語(yǔ)音到手勢(shì)轉(zhuǎn)換的定性結(jié)果。我們展示了Dr. Kubinec(講師)和Conan O’Brien(節(jié)目主持人)的輸入音頻頻譜圖和預(yù)測(cè)手勢(shì)。