产品概述
ProPainter 是南洋理工大学研究团队开发的开源视频修复工具，利用改进的传播机制和稀疏 Transformer 架构，能够在保持高效的同时，准确移除视频中的移动物体（如行人、车辆）或水印。它不仅支持对象删除，还能完成蒙版区域的视频补全（Video Completion）以及视频外扩（Video Outpainting），适用于多种视频编辑场景。
核心优势
- **双域传播技术**：同时利用图像域和特征域的传播，结合光流信息，从全局和局部时间帧中可靠地获取对应关系，避免空间错位，修复效果更自然。
- **掩码引导的稀疏 Transformer**：只保留关键令牌进行时空注意力计算，大幅减少计算量和内存占用，使得 Transformer 在高分辨率视频上也能高效运行。
- **端到端联合训练**：传播与 Transformer 模块在统一框架下训练，整体性能优于以往方法（PSNR 提升 1.46 dB），同时保持出色的处理速度。
适用场景
- **视频后期制作**：去除画面中意外闯入的物体（如飞鸟、行人），避免重复拍摄。
- **水印移除**：清理受版权保护或平台水印的视频，恢复原始内容。
- **视频监控**：屏蔽敏感或干扰的移动对象，提取干净背景。
- **创意视频编辑**：通过视频补全和外扩功能，生成更具视觉冲击力的画面。