CineMaster

快手联合高校推出的3D感知文本生成视频框架,能像导演一样精确控制物体位置和摄像机运动,堪称视频版ControlNet。

video 🆓 免费 🔓 开源
✨ 3D空间物体与摄像机精确控制✨ 两阶段工作流:先构建3D信号再生成视频✨ 语义布局控制网+摄像机适配器✨ 交互式界面实时预览渲染效果✨ 非专业用户也能创作电影级视频
🌐 访问官网 →

产品概述

CineMaster是由大连理工大学、香港中文大学和快手科技联合研发的全新文本到视频生成框架。它让用户像专业电影导演一样,在3D空间中自由操控物体与摄像机,直观设计每一帧的布局,实现高度可控的视频创作。用户只需输入深度图、相机轨迹、物体标签等控制信号,就能指导AI生成符合自己意图的视频内容,大大提升了视频生成的灵活性和准确性。

核心优势

CineMaster采用两阶段工作流程:第一阶段构建3D感知的控制信号(包括深度图、相机轨迹等),第二阶段基于这些条件信号生成视频。其独创的语义布局控制网络能结合3D空间布局与语义信息,精确控制每个实体的位置;摄像机适配器则通过残差连接将摄像机姿态注入生成过程,支持复杂的摄像机运动。在三种典型场景的测试中,CineMaster的表现远超现有最先进方法,精准控制物体与摄像机运动。

适用场景