产品概述
Audio2Photoreal是由Meta AI（Facebook Research）推出的一项前沿技术，能够仅凭音频输入生成全身逼真的虚拟人物形象。它不仅能根据多人对话中的语音生成对应的面部表情，还能精准还原手势、身体动作（如指点、耸肩、微笑）等细节，让虚拟人物在视觉上高度逼真且动作自然。该技术结合了向量量化（VQ）的样本多样性和扩散模型的高频细节生成能力，使得输出既丰富又细腻。
核心优势
- **全身运动生成**：不同于仅关注面部的方案，Audio2Photoreal同时生成面部、身体和手势动作，实现全身协调的虚拟人表现。
- **高质量的逼真效果**：通过双人对话数据集进行训练，并利用条件扩散模型和自回归引导姿势预测，生成的虚拟人动作流畅、细节丰富（如手腕抖动、嘲笑表情）。
- **开源可复现**：项目代码和论文均公开在GitHub上，研究者可以自由下载、使用和改进，推动了虚拟人生成领域的发展。
适用场景
- 虚拟社交、在线会议中的数字人形象驱动
- 游戏、影视中的角色动画自动生成
- 虚拟主播、教育助教等需要自然动作的AI形象
- 人机交互研究，探索语音驱动全身运动的最新技术