基于多示例的自然虚拟化妆

一种新的数字面部化妆方法

摘要

本文提出了一种基于多个化妆示例的眼部、面部和嘴唇化妆应用的新方法。我们创建了两张高斯权重图以生成自然皮肤妆容效果。由于在混合过程中使用了高斯权重图，我们的化妆效果更加自然。

I. 引言

最近，由于人们对化妆的认知发生变化以及对外表的关注度提高，化妆受到了越来越多的重视。尽管男性使用化妆品的频率普遍低于女性，但他们主要将其用于遮盖瑕疵（如轻微的痤疮或雀斑）、均匀肤色，或突出眉毛和眼睛的轮廓。

在以往的虚拟化妆研究中，给定一张输入的目标图像，会将示例图像中的化妆技术应用到目标图像上。郭等人[1]提出的方法与本文的研究最为相关。在他们的方法中，图像通道从RGB转换为CIELAB，并被划分为三个区域：面部结构、皮肤细节和颜色。然后通过梯度编辑、加权相加和alpha混合，将示例图像和原始图像的每一层进行融合，从而获得自然化妆效果。郭等人[1]提出的方法仅需使用一张已化妆的图像，而无需两张图像（化妆前和化妆后）。然而，仅观察一种化妆技术限制了识别多种化妆方法的可能性。本文提出利用多张图像（一张包含眼睛和皮肤化妆，另一张包含唇部化妆）进行多种组合的化妆技术，以实现更自然的效果。

我们所提出方法的一个重要特征是在保持原始图像细节（如双眼皮或毛发）的同时实现自然的颜色转换。为了保持边缘，郭等人[1]通过加权最小二乘法[2]在CIELab色彩空间中分离图层，从而保留皮肤细节。他们通过保留强边缘更有效地维持了细节。在我们的实验中，我们从网页[3, 4]下载了人脸和化妆图像。

II. 数字面部化妆方法

本研究提出了一种虚拟化妆系统，该系统将从两张面部图像中提取的化妆技术（一张图像中的皮肤和眼部化妆，另一张图像中的唇部化妆）应用于一个输入面部图像。在本研究中，输入面部图像定义为I；用于皮肤和眼睛化妆技术的面部图像为$E_e$；用于嘴唇化妆技术的面部图像为$E_l$；应用组合化妆后的结果图像为R。图1展示了输入人脸图像I、示例皮肤和眼妆的面部图像$E_e$，以及唇妆的示例面部图像$E_l$。

图1. (a) 输入面部图像 I，(b) 用于皮肤和眼睛化妆的示例面部图像 $E_e$，(c) 用于唇部化妆的示例面部图像 $E_l$。

我们的虚拟化妆系统可分为五个阶段。首先，将示例图像$E_e$和$E_l$按照图像I中的面部形式进行排列，以便将其颜色应用到图像I上。其次，创建高斯加权值，用于将$E_e$应用到I。第三，对于唇部化妆，通过所创建的高斯加权值将$E_l$应用到I上，输出为结果图像R。我们方法的工作流程如图2所示。

图2. 工作流程
对于人脸图像的排列，我们使用薄板样条(TPS)[5]将图像$E_e$和$E_l$按照图像I中人脸的形式进行扭曲变换。TPS扭曲变换使用关键点，通常这些关键点可通过ASM或主动外观模型获得。在本研究中，关键点是通过监督下降法[6]获取的。在我们的实验中，每张人脸使用了75个关键点。我们将各个区域定义如下：眼睛为$C_1$，眉毛和鼻子为$C_2$，嘴唇为$C_3$，其他面部区域为$C_4$。

我们创建了一个权重图，以将扭曲图像$E_e$的化妆技术应用于图像I。所创建的权重图$w_e$在眼部区域($C_1$)具有0的权重值，在其他区域具有0.4的权重值——眉毛和鼻子区域（$C_2$），以及面部区域（$C_4$）为0.8。由于$C_1$是眼部区域，无法在此处进行化妆。因此，通过将该区域的权重值设为零，我们保留了图像I在该区域的值。为了将$E_e$的化妆技术自然地应用到图像I上，我们基于高斯方程绘制了一个高斯权重图（$w_{ge}$），如下所示：

$$
w_{ge}(p) = w_e(p) \cdot \frac{1}{2\pi\sigma^2} e^{-\frac{|p - c|^2}{2\sigma^2}}
$$

其中$p$索引图像像素，$w_e(p)$是每个面部区域的权重值，表示$w_e$的值（其中$0 \leq w_e(p) \leq 1$）。本文中，在所有实验中$\sigma$的值均设置为5。通过这种方式，生成了高斯权重图。

使用该方法，我们为唇部化妆创建了另一个高斯权重图（$w_l$）。在这种情况下，我们将嘴唇区域（$C_3$）的权重值设为0.8，其他所有区域的权重值设为0。我们通过基于高斯方程绘制的方式创建了一个高斯权重图（$w_{gl}$），如下所示：

$$
w_{gl}(p) = w_l(p) \cdot \frac{1}{2\pi\sigma^2} e^{-\frac{|p - c|^2}{2\sigma^2}}
$$

首先，我们将用于眼部和面部化妆的$w_{ge}$应用于$E_e$和公式(1)中的I。

$$
R_e = w_{ge} \cdot E_e + (1 - w_{ge}) \cdot I
$$

接下来，我们使用公式(4)对已应用眼妆和面部化妆的图像$R_e$进行唇部化妆。通过此操作，我们得到了图像R。

$$
R = w_{gl} \cdot E_l + (1 - w_{gl}) \cdot R_e
$$

图3显示了已完成唇部化妆的图像。

图3. 由$E_e$和$E_l$进行的化妆。

III. 结果

本实验中的用户自定义参数是权重图中每个区域的权重值（$w_e(p)$）。对于自然效果，我们将权重值设为零（$C_1$），0.4（$C_2$），0.8（$C_3$），以及0.8（$C_4$）。然而，可以修改该值以对每个区域产生显著影响。例如，如果将图像$C_4$的$w_e(p)$设置接近1，则可以获得强调肤色和眼妆的图像。相反，如果将其设置接近零，则结果将是柔和眼妆的化妆技术，并强调原始图像的肤色。图4展示了本实验的结果。因此，通过控制每个区域的权重值，可以根据用户需求调整各区域的化妆效果。

图4. $w_e(p)$值的化妆效果：(a) $C_4 = 0.4$，(b) $C_4 = 0.8$。

IV. 结论

本文提出了一种方法，可将从两个不同化妆示例图像中提取的化妆技术以自然的方式应用于目标图像。现有的数字化妆技术存在局限性，即只能将从一个样本图像中获取的一种化妆技术应用于目标图像。在我们的方法中，可以从一个样本图像中提取眼妆和底妆，从另一个样本图像中提取唇部化妆，并将两者同时应用到目标面部图像上。

由于各图像光照差异及其他因素，在单张图像上融合来自两幅不同图像的化妆技术难以生成自然的结果。因此，需要采用自然融合技术；我们使用高斯权重图来实现自然的融合效果。通过该方式，我们从一个示例图像中提取眼妆和底妆，从另一个示例图像中提取唇部化妆，并将其共同应用于一个目标图像。

对于不熟悉Photoshop等复杂应用程序的用户而言，在此类应用程序中获得虚拟化妆的自然效果极为困难。相比之下，我们提出的方法允许用户通过简单地选择示例照片来查看化妆应用的结果。实验中仅使用了正面面部图像，因为我们无法找到足够的侧面图像。未来，我们或许能够从所有面部方向提取化妆技术，并将其应用于非正面面部图像。