Meta公布audio2photoreal AI框架，輸入配音文件即可生成人物對話場景

（取自Meta臉書粉專）

Meta 近日公布了一項名為 audio2photoreal 的 AI 框架，該框架能夠生成一系列逼真的 NPC 人物模型，並借助現有配音文件自動為人物模型「對口型」、「擺動作」。

官方研究報告指出，Audio2 photoreal 框架在接收到配音文件後，首先會生成一系列 NPC 模型，之後利用量化技術及擴散算法生成模型用動作，其中量化技術為框架提供動作樣本參考、擴散算法用於改善框架生成的人物動作效果。

對照實驗中有 43% 的評估者對框架生成的人物對話場景感到「強烈滿意」，因此研究人員認為 Audio2 photoreal 框架相對於業界競品能夠生成「更具動態和表現力」的動作。

據悉，研究團隊目前已經在 GitHub 公開了相關程式碼和數據集。