图像填充方法概述

总说

这里主要讲解Inpainting的主要发展历程。从2001年到2014年的图像填充方法概述。
1. ImageInpainting（00年）
2. Simultaneous Structure and Texture Image Inpainting
3. Object Removal by Exemplar-Based Inpainting
4. Shift-Map Image Editing
5. PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing
6. The Generalized PatchMatch Correspondence Algorithm
7. Image Completion Approaches Using the Statistics of Similar Patches
8. Image Inpainting (14年总结性的inpainting文章）

TODO

暂时不写第八篇了，有点累。以后再写吧。。

Image Inpainting(00年)

简单来说，该文章提出Inpainting的方法就是从已知区域往未知区域，逐步向内填充。
填充的公式如下：

$$I^{n+1}(i,j)=I^n(i,j)+\Delta t I^n_t(i,j), \forall (i,j)\in \Omega$$
而 $I^n_t(i,j)$则通过以下公式计算：
$$I^n_t(i,j) = \overrightarrow{\delta L^n}(i,j)\cdot \overrightarrow{N^n}(i,j)$$
慢慢缕缕：未知区域定义为 $\Omega$, 已知区域是 $\overline{\Omega}$。 $I^n(i,j)$表示 $(i,j)$坐标的点在第 $n$次迭代时的值。 $\Delta t$表示步长。所以 $I^n_t(i,j)$自然是 $(i,j)$点在第 $n$次时需要传播（propagate）总信息量。那么这个总信息量的定义是和 $\overrightarrow{\delta L^n}$以及 $\overrightarrow{N^n}(i,j)$有关的。
$\overrightarrow{\delta L^n}(i,j)$： 这个表示(i,j)点的信息的变化量。
$\overrightarrow{N^n}(i,j)$:表示一个方向，后面说明这个方向。

$\overrightarrow{L}(i,j)$应该是图像的光滑估计算子。论文中这里取拉普拉斯算子。
$\overrightarrow{L^n}(i,j)=I^n_{xx}(i,j)+I^n_{yy}(i,j)$, 那么$\overrightarrow{N^n}(i,j)$

如何定义$\overrightarrow{N}(i,j)$

如何定义呢？一个简单的想法是，定义成垂直于边界$\delta \Omega$的signed distance。比如是这样的：

对于每个点（在$\Omega$内），$N$方向应该垂直于一个收缩的$\partial \Omega$。但是如果这样设定$N$的话，可能会出现下面这种填充：

这样的设定$N$，会使得右边的填充出来的边缘直接变化了（本开应该要继续斜向上的，但是这里直接边缘垂直向上了）。因此不能直接定义$N$垂直与$\partial \Omega$, 论文中采用等照度线的方向（这里直接认为垂直于梯度的方向即为等照度线方向)。
定义：
$\overrightarrow{N^n}(i,j):=\nabla^\bot I^n(i,j)$，其中$\nabla ^\bot I^n(i,j)$是垂直于$\nabla I^n(i,j)$的方向。

实际操作

Inpainting方式

先计算$L^n(i,j)=I^n_{xx}(i,j)+I^n_{yy}(i,j)$
再算

$$\frac{\overrightarrow{N}(i,j,n)}{\vert \overrightarrow{N}(i,j,n)\vert} :=\frac{(-I^n_y(i,j),I^n_x(i,j))}{\sqrt{(I^n_y(i,j))^2+(I^n_x(i,j))^2}}$$
再弄 $\overrightarrow{\delta L^n}(i,j)=\left(L^n(i+1,j)-L^n(i-1,j),L^n(i,j+1),L^n(i,j-1)\right)$
再算