DragGAN

拖动您的 GAN：生成图像流形上的基于点的交互式操作

合成满足用户需求的视觉内容，往往需要对生成对象的姿势、形状、表情和布局进行灵活、精确的可控性。现有方法通过手动注释的训练数据或先前的 3D 模型获得生成对抗网络 （GAN） 的可控性，这些模型通常缺乏灵活性、精度和通用性。在这项工作中，我们研究了一种强大但鲜为人知的控制GAN的方法，即“拖动”图像的任何点，以用户交互的方式精确到达目标点，如图1所示。为了实现这一目标，我们提出了DragGAN，它由两个主要组件组成，包括：1）基于特征的运动监督，驱动手柄点向目标位置移动，以及2）一种新的点跟踪方法，该方法利用判别GAN特征来保持定位手柄点的位置。通过 DragGAN，任何人都可以通过精确控制像素的去向来变形图像，从而操纵动物、汽车、人类、风景等不同类别的姿势、形状、表情和布局。由于这些操作是在GAN的学习生成图像流形上执行的，因此即使对于具有挑战性的场景，例如幻觉遮挡的内容和始终遵循对象刚性的变形形状，它们也倾向于产生逼真的输出。定性和定量比较都证明了DragGAN在图像处理和点跟踪任务中优于以前的方法。我们还展示了通过GAN反转对真实图像的处理。