产品概述
DreaMoving 是一款基于扩散模型的视频生成框架，专注于生成高质量的定制人类舞蹈视频。它结合了运动控制和身份保留技术，用户只需要输入目标人物的人脸参考图像、一系列姿态序列（如姿势或深度图），以及简单的文本描述，就能生成目标人物在指定场景中按照姿态序列舞动的视频。该框架通过视频控制网络（Video ControlNet）处理运动信息，并通过内容指南器（Content Guider）将人脸特征和文本提示融合到生成过程中，确保人物身份一致且视频外观符合预期。
核心优势
- **高保真身份保留**：通过人脸参考图像和内容嵌入机制，DreaMoving 能够精确地保持目标人物的面部特征，同时支持可选的布料信息，使得生成视频中的人物与真实身份高度一致。
- **精准运动控制**：视频控制网络在每个U-Net块之后注入运动模块，能够处理姿态或深度序列作为额外的时间残差，从而实现细粒度的动作驱动，让生成的舞蹈动作流畅且符合指定姿态。
- **灵活的风格适配**：该框架设计为易于集成到各种风格化的扩散模型中，用户可以通过文本提示调整视频的整体视觉风格（如艺术风格、场景背景等），生成多样化的效果。
适用场景
- 舞蹈视频创作与个性化内容生成
- 虚拟人动画与数字人制作
- 游戏角色动作生成
- 创意广告与短视频制作
- 教育与娱乐中的动态内容展示