产品概述
AnchorCrafter是一个基于扩散模型的AI视频生成系统,专门用于自动创建高保真的产品推广视频。它通过将人类与物体的交互(HOI)融入到姿态引导的视频生成中,让虚拟主播能够自然地展示商品,包括手部接触、动作配合等细节,生成效果可与真人主播媲美。
核心优势
**精细的人-物交互建模**:系统不仅驱动虚拟模特摆姿势,还能精确控制手与商品的接触细节,通过HOI-外观感知技术融合多视角商品图像特征,确保商品外观细节精准呈现。同时采用解耦网络区分和优化人与物,提升视觉保真度。
**高效的数据与训练策略**:尽管训练数据规模不大(44个网络视频+307个自采视频),但通过HOI区域重加权损失函数,定向强化手-物交互区域的学习,在有限资源(4卡A100 GPU,4万训练步)下仍能产出高质量视频,算法鲁棒性强。
**快速制作与灵活控制**:用户只需提供主播照片和商品照片,即可生成带货视频。还能根据需求设计不同的互动动作,导出高清视频用于电商推广,极大降低对真人主播的依赖和制作成本。
适用场景
- 电商平台快速生成带货视频,提升产品展示吸引力
- 产品推广,将人物与商品融合制作营销内容
- 虚拟主播直播或短视频内容生产,减少人力成本
- 需要高保真人-物交互演示的广告创意制作