NVIDIA開源Audio2Face模型與SDK

NVIDIA將開源Audio2Face模型與SDK，推動遊戲與3D應用角色動畫發展

2024年9月25日，NVIDIA宣布將全面開源其Audio2Face模型與軟體開發套件（SDK），讓所有遊戲及3D應用開發者都能輕鬆建置並部署具備高精度面部動畫的角色。此次開放還包含Audio2Face的訓練框架，使開發者可根據特定需求對現有模型進行微調與客製化。

生成式AI驅動即時面部動畫與口型同步

NVIDIA Audio2Face運用生成式AI技術，實現即時面部動畫與精準嘴形同步，大幅提升寫實數位角色的創作效率。該技術能分析語音中的音素、語調等聲學特徵，自動產生對應的面部表情動畫資料流，並將其映射至3D角色臉部。這些動畫資料不僅可用於離線渲染預製內容，也能即時驅動AI角色，實現自然的情緒表達與準確的唇形同步。

廣泛應用於遊戲、媒體娛樂與客服領域

目前Audio2Face已廣泛應用於遊戲開發、影視製作與虛擬客服等產業。眾多獨立軟體廠商（ISV）與遊戲公司均已整合此技術至其工作流程中。知名合作夥伴包括Codemasters、GSC Game World、網易、完美世界等遊戲開發商，以及Convai、Inworld AI、Reallusion、Streamlabs和UneeQ等ISV業者。

完整開源工具列表，支援多元開發環境

為協助開發者快速導入Audio2Face技術，NVIDIA提供一系列開源工具：

Audio2Face SDK：包含運行面部動畫所需的程式庫與文件，支援本地端PC或雲端創作環境。

Autodesk Maya外掛：v2.0版本提供本地執行功能，使用者可在Maya中輸入音訊並即時取得角色面部動畫。

虛幻引擎5外掛：支援UE 5.5與5.6版本（v2.5），讓開發者於虛幻引擎內直接進行音訊驅動動畫創作。

Audio2Face訓練框架：v1.0版本，允許使用自有資料訓練專屬Audio2Face模型。

Audio2Face訓練樣本資料：提供示例數據，幫助開發者快速上手訓練流程。

Audio2Face模型：包含回歸模型（v2.2）與擴散模型（v3.0），用於生成高品質唇形同步效果。

Audio2Emotion模型：提供生產級（v2.2）與實驗性（v3.0）情緒推論模型，從音訊中識別情感狀態。