NVIDIA 現(xiàn)已開源 Audio2Face 模型與 SDK，讓所有游戲和 3D 應(yīng)用開發(fā)者都可以構(gòu)建并部署帶有先進(jìn)動畫的高精度角色。NVIDIA 開源 Audio2Face 的訓(xùn)練框架，任何人都可以針對特定用例對現(xiàn)有模型進(jìn)行微調(diào)與定制。

NVIDIA Audio2Face 通過生成式 AI 驅(qū)動的實(shí)時面部動畫與嘴形同步，加速寫實(shí)數(shù)字角色的創(chuàng)作流程。Audio2Face 利用 AI 根據(jù)音頻輸入生成逼真的面部動畫。這項(xiàng)技術(shù)通過分析音素、語調(diào)等聲學(xué)特征，創(chuàng)建動畫數(shù)據(jù)流，并映射至角色的面部表情。這些動畫數(shù)據(jù)既可用于離線渲染預(yù)設(shè)的資產(chǎn)，也可實(shí)時傳輸?shù)絼討B(tài)的、由 AI 驅(qū)動的角色，實(shí)現(xiàn)準(zhǔn)確的嘴形同步與情感表達(dá)。

Audio2Face 模型已廣泛應(yīng)用于游戲、媒體娛樂以及客戶服務(wù)等行業(yè)。眾多獨(dú)立軟件廠商 ISV 與游戲開發(fā)商都在其應(yīng)用中采用了 Audio2Face。游戲開發(fā)者包括 Codemasters、GSC Game World、網(wǎng)易和完美世界。ISV 包括 Convai、Inworld AI、Reallusion、Streamlabs 和 UneeQ。

以下是開源工具的完整列表。