CMU和Petuum联合提出contrastGAN：实现生成式语义处理

机器之心合集

参加者：史密斯

论文：https://arxiv.org/abs/1708.00315

生成对抗网络（GAN）最近在配对/不配对图像到图像的转换方面取得了重大进展，例如照片 简笔画和艺术绘画风格转换。然而，现有模型只能传递低级信息（例如颜色或纹理变化），而无法编译目标对象的高级语义（例如几何结构或内容）。

另一方面，虽然研究人员可以在给定一类标签或注释的情况下合成真实的图像，但他们无法处理任意图形或结构，这极大地限制了他们的应用场景和模型结果的解释。解释能力。

在本文中，我们关注一个更具挑战性的语义处理任务，即修改对象的语义，同时保持图像的独特特征（例如透视和形状），例如牛羊，摩托车自行车，猫 狗。为了处理如此大的语义转换，我们引入了具有新颖的对抗性对比目标的对比GAN（contrast-GAN）。

与之前直接使合成样本近似目标数据的GAN 不同，我们的对抗性比较目标是优化样本之间的距离比较，使得处理后的数据在语义上比输入数据更接近目标。类别的真实数据。我们提出了一种带有新的比较目标的掩模条件对比度-GAN（mask-conditionalcontrast-GAN）结构，它可以使用目标语义变换来分离图像背景。

在ImageNet 和MSCOCO 数据集上的几个语义处理任务的相关实验表明，我们的对比GAN 的表现明显优于其他条件GAN。定量结果进一步说明了我们的模型在生成具有高视觉保真度和合理目标语义的可操作结果方面的优势。

在本文中，我们在没有任何配对训练示例的情况下进一步进行图像语义处理。它不仅通过处理高级目标语义来概括图像到图像的翻译工作，而且通过保留尽可能多的原始图像传达的内部特征来推进可控图像合成的相关研究。

图1 显示了我们模型的语义处理结果的一些示例。可以看出，与输入图像相比，我们的模型在形状、几何或纹理上只有很少的变化，并且成功地改变了目标对象的语义特征，例如猫狗。

通过对比GAN 进行语义处理

如图2 所示，我们的对比GAN 学习一个条件生成器G，该生成器将所需语义cy 和输入图像x 作为输入，然后对x 进行操作以使其进入y'。语义感知的对抗性判别器Dcy 被设计为判别y Y 的图像，并且结果y'=G(x, cy)。我们新颖的对抗性对比损失迫使生成的结果y' 的表示比输入图像x 的相应表示更接近目标区域Y 中的那些图像{y}。

图2：对比GAN 概述。 cy和cx分别表示X和Y区域的对象类别（语义）。 Gcy将样本平移到Y区域，Dcy区分处理结果y'和真实结果y，Gcx和Dcx也是如此。 (a) 显示了原始的CycleGAN，它使用循环一致性损失针对每对单独的生成器和鉴别器进行了优化。 (b) 显示了对比GAN 的工作流程，优化了条件生成器G 和几个语义认知鉴别器D1、D2.DC，其中C是目标对象类别的总数。我们在GAN 中引入对抗性对比损失，以促使样本y' 生成的特征fy' 比输入x 的特征更接近目标区域Y 的特征中心¯fy。

Mask-conditional Contrast-GAN (Mask-conditional Contrast-GAN)

图3 显示了模型的草图，该模型以输入图像x、目标对象掩模M 和目标类别cy 开始，并输出处理后的图像。请注意，整个结构对于反向传播来说是完全微分的。为了更清楚起见，图3 中省略了全周期架构（例如，通过G(y, cx) 映射y' x^）。

图3：用于语义处理的掩模条件对比度GAN（掩模条件对比度-GAN），它将输入图像、目标对象掩模和目标类别作为输入。

图4：在给定目标掩码的MSCOCO 数据集上，马斑马和斑马马翻译的掩码比较GAN 和CycleGAN 的结果比较。它演示了集成目标对象掩模来解耦图像背景和目标语义的效果。其中，和控制目标对象的相对重要性。 G 试图最小化这个目标，而一组判别器{Dcy} 则试图最大化它。大量的实验表明，每个目标对象对于实现高质量的处理结果都发挥着重要作用。

实验结果对比：

表1：Cityscapes 注释图像数据集上的FCN 分数比较。

表2：Cityscapes 图像注释数据集的分类性能比较。

图5：ImageNet 上对比GAN 和CycleGAN 的橙色苹果（第一行）和苹果橙色（第二行）翻译结果的比较。

图6：给定目标掩码的MSCOCO 数据集上狗猫和猫狗翻译的掩码比较GAN 和CycleGAN 的结果比较。

表3：MSCOCO 数据集上8 个掩模条件语义处理任务的AMT 感知测试结果比较。