Robust Unsupervised StyleGAN Image Restoration总结整理

最新推荐文章于 2024-04-11 19:51:30 发布

原创

最新推荐文章于 2024-04-11 19:51:30 发布 · 1.4k 阅读

标签

#图像处理

鲁棒的无监督StyleGAN图像恢复

一.创新点

现有的无监督方法必须针对每个任务和降级级别进行仔细调整。（这里每个任务都是什么？降级级别是什么？）
在这里使用StyleGAN图像恢复健壮，即单组超参数在宽范围的退化水平上起作用。（是不是说之前需要多组参数处理不同任务，现在只要一组超参数可以处理多个任务）
这样就可以处理几种退化的组合，而不需要重新调整

本论文的方法赖于一个3阶段渐进的潜在空间扩展和一个保守的优化器，这避免了需要任何额外的正则化条款。（3阶段渐进的潜在空间扩展和一个保守的优化器是什么？额外的正则化条款又是什么？）

大量的实验表明，在不同的退化水平下，修复，上采样，去噪和去伪影的鲁棒性，优于其他基于StyleGAN的反演技术。（是不是意味着也有其他基于StyleGAN的图像恢复技术，但我们的方法鲁棒性更强？）

我们的方法相比于，基于扩散的恢复有更好的恢复结果。（这种基于扩散的恢复是什么？）

二.详细说明本论文的背景

很多图像恢复任务是不同的，例如降噪，上采样，取出伪影等。现有的方法大多是针对不同任务专门设计数据集，在监督学习中解决。但这样就需要在每个任务上重新训练大型网络。（不同的任务都有专门的网络去解决，那这样遇到一个图片如果同时遭遇不同退化，那是不是就要几种大网络组合起来去恢复）

生成模型出现后，产生了很多无监督的图像恢复方法，不需要对特定任务进行训练，他利用反转生成过程以恢复干净的图像
假设已知（或近似）退化模型，优化过程因此尝试恢复既有以下两种情况的图像：1）在经历类似的退化模型（保真度）之后紧密匹配目标退化图像; 2）存在于由GAN学习到的真实图像空间中（realistic）。

StyleGAN [29-31]被发现对于无监督图像恢复特别有效，因为其潜在空间的优雅设计。事实上，这些方法利用风格反转技术来求解潜在向量，当将其提供给生成器时，创建接近退化目标的图像。不幸的是，只有当模型分布中实际存在这样的匹配时，这才有效，而实际上很少出现这种情况。（这里的潜在向量是什么？意思是不是说利用StyleGAN进行图像恢复时，把需要恢复的图像给StyleGAN，只有当StyleGAN模型中存在这样的恢复前与恢复后图像匹配，才能完成图像恢复过程？）

因此，有效的方法将学习到的潜在空间扩展到增加额外的自由度去容纳更多图像，这产生了对附加正则化损失的需要。因此，必须针对每个特定任务和降级级别仔细调整超参数。（是不是意味着要容纳更多的匹配，需要对每个任务进行调整）

这产生了对附加正则化损失的需要。因此，必须针对每个特定任务和降级级别仔细调整超参数。

在这项工作中，我们使无监督的StyleGAN图像反演恢复对退化的类型和强度具有鲁棒性。我们提出的方法在所有任务和级别上使用相同的超参数，并且不依赖于任何正则化损失。我们的方法依赖于两个关键思想。（成功引出本论文的特点）