Skip to main content
ReCapture

谷歌黑科技 ReCapture:可一键生成“多机位”视频大片

       谷歌的研究人员开发了一种名为ReCapture的新技术,它允许用户在视频录制后修改摄像机的运动。该系统旨在将专业级视频编辑功能带给普通用户。

       ReCapture的操作分为两个阶段。首先,它创建一个“锚视频”——一个带有新摄像机运动的期望输出的初始版本。这个初步版本可能包含一些时间上的不一致性和视觉伪影。为了生成锚视频,系统可以使用像CAT3D这样的扩散模型,从多个角度创建视频。或者,它可以通过逐帧深度估计和点云渲染来生成锚视频。

       ReCapture架构结合了空间和时间LoRA(Low-Rank Adaptation)模块来改进视频合成。系统使用锚视频和遮罩进行精确的运动控制和上下文图像生成。在第二阶段,ReCapture应用遮罩视频微调。这一步使用在现有素材上训练的生成视频模型来创建真实的运动和时间变化。

 

免责声明:除原创作品外,本平台所使用的文章、图片、视频及音乐属于原权利人所有,因客观原因或会存在不当使用的情况,如,部分文章或文章部分引用内容未能及时与原作者取得联系,或作者名称及原始出处标注错误等情况,非恶意侵犯原权利人相关权益,敬请相关权利人谅解并与我们联系。