查看“DeepMind新AI可生成逼真视频”的源代码

{{4}}导语：比AI视频换脸还牛的是，这一模型生成的视频内容全都是自主学习YouTube视频创建的。 [http://tech.ifeng.com/c/7oY4cL6F07n]

智东西7月22日消息，近日，DeepMind的研究人员研发了一个名叫Dual Video Discriminator GAN（DVD-GAN）的人工智能模型，该模型通过能够通过学习一系列的YouTube视频数据集，生成高度逼真且连贯的256 x 256像素视频，最长可达48帧。

目前，DVD-GAN的研究成果已于美国时间2019年7月15日发表在arxiv上，名为《在复杂数据集上的高效视频生成（Efficient Video Generation on Complex Datasets）》。



一、AI造假视频比造假图片更难

最近，俄罗斯AI研究人员开发的FaceApp着实大火了一把，这款应用通过人工智能技术能够改变用户自拍照的年龄、外貌、发色和性别，甚至可以生成虚构的人物照片。这直接让人们近距离地感受了人工智能技术给我们的生活带来的乐趣。

但是否有人想过，有朝一日这些技术也能应用在视频领域呢？

如果说BigGAN是DeepMind在图像领域开发的能够生成高度逼真图像的图像生成器，那么DeepMind研究人员们开发的DVD-GAN，就是人工智能在视频剪辑生成领域的最新突破。

研究人员在论文中表示，生成自然视频对生成式建模来说是一个较大的挑战，同时还会受到数据复杂性和计算需求增加的困扰。

因此，之前业界的研究人员们在研究视频生成领域时，几乎都围绕着相对简单的数据集，或者采用有限的时间信息来降低任务的复杂程度。

而这次，DeepMind的研究人员们主要针对视频合成和视频预测的任务，将生成图像模型的强大功能和逼真效果扩展到视频领域。

二、DVD-GAN：基于BigGAN模型结构

研究人员们基于BigGAN的模型结构，构建了DVD-GAN的系统，并引入了一系列用于视频生成的调整，使DVD-GAN能够在Kinetics-600上进行训练。

Kinetics-600是一组由50万段10秒高分辨率的YouTube视频剪辑汇编而成的训练数据集，它最初是为识别人类动作而制作的，比目前其他常用的语料库还大一个数量级。

同时，研究人员们表示，Kinetics-600具有多样化特征，能消除他们对过拟合（Overfitting）的担忧。过拟合主要是指机器学习时选择的模型所包含的参数过多，以至出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象。

另一方面，DeepMind的研究人员们利用生成对抗网络（GANs）来区分生成样本和真实世界样本，该网络主要由生成器和判别器两部分组成。

GANs曾被应用在把文字转换成一幕幕的场景故事，或生成人造星系图像等任务中。而研究人员们这次使用的是名为BigGANs的生成对抗网络，该网络以大批量和数百万个参数而得名。

值得一提的是，DVD-GAN包含两个判别器。一个是空间判别器（Spatial Discriminator：D_S），该判别器通过随机采样全分辨率帧并单独处理，以评估单个帧的内容和结构；另一个是时间判别器（Temporal Discriminator：D_T），它可以提供一个能生成动作的学习信号。

此外，DVD-GAN还有一个单独的Transformer模块，它可以让学习信息在整合AI模型中传播。



三、训练12至96小时即可生成视频

研究论文表明，在经过Google第三代TPU训练了12至96个小时后，DVD-GAN可以成功地生成视频，这些视频内容包含了物体的组成和运动，以及各种复杂的纹理。

不足的是，DVD-GAN生成的视频内容有时较为“诡异”，例如生成的物体和人形奇形怪状，甚至人体忽长忽短地变化。

但研究人员指出，当把DVD-GAN放在UCF-101（一个包含13320个人类动作视频的较小数据集）上进行评估后，DVD-GAN生成的样本初始值最高为32.97。

DeepMind的研究人员们希望能进一步强调在大型复杂视频数据集上训练生成模型的好处，例如Kinetics-600。

“我们设想通过DVD-GAN在这个数据集上建立强大的基线，该基线将被用作未来建模生成领域的参考点。”研究人员表示，“尽管在不受约束的环境下持续生成逼真的视频还需要进行很多工作，但我们相信DVD-GAN是我们朝这个方向迈出的重要一步。”



结语：用AI生成高度逼真视频的一次尝试

不管是BigGAN还是FaceApp，以往的研究人员们在人工智能生成图像领域进行了许多具有突破性的研究，但在视频领域，除了AI换脸曾火了一把之外，并没有更多的突破性进展。

而DeepMind的研究人员们基于BigGAN架构和Kinetics-600训练数据集开发的DVD-GAN，利用计算高效的判别器分解，扩展到时间更长、分辨率更高的视频。就目前来说，虽然这一成果还有些许不足，但这无疑是研究人员们利用AI生成高度逼真视频的一次重要尝试。

论文链接：https://arxiv.org/abs/1907.06571