76、3D重建：纹理映射与外观建模全解析

3D重建：纹理映射与外观建模全解析

1. 纹理映射与反照率恢复

在获取物体或人物的3D模型后，建模的最后一步通常是恢复纹理映射，以描述物体的表面外观。这一过程涉及多个关键步骤和技术。

1.1 纹理坐标参数化

首先，需要为(u, v)纹理坐标建立一个作为3D表面位置函数的参数化。一种简单的方法是为每个三角形（或一对三角形）关联一个单独的纹理映射。更节省空间的技术包括将表面展开到一个或多个映射上，例如使用细分网格或几何图像。

1.2 从纹理到像素坐标的映射

一旦每个三角形的(u, v)坐标确定，就可以通过将仿射(u, v) →(X, Y, Z)映射与透视单应性(X, Y, Z) →(uj, vj)串联，得到从纹理(u, v)到图像j的像素(uj, vj)坐标的透视投影方程。然后，可以对(u, v)纹理映射的颜色值进行重采样和存储，或者使用投影纹理映射将原始图像本身用作纹理源。

1.3 多源图像的处理

当有多个源图像可用于外观恢复时，情况会变得更加复杂。有两种常见的处理方法：
- 视图相关纹理映射 ：根据虚拟相机、表面法线和源图像之间的角度，为每个多边形面使用不同的源图像（或源图像的组合）。
- 估计表面光场 ：为每个表面点估计一个完整的表面光场。

在某些情况下，例如在传统3D游戏中使用模型时，最好在预处理期间将所有源图像合并为一个连贯的纹理映射。这可以通过图割优化问题来实现，其中平滑项鼓励相邻三角形使用相似的源图像，然后进行混合以补偿曝光差异。

1.4 光照影响与处理

当光照相对于物体固定时，上述方法可以产生良好的效果。但当光照具有强烈方向性，且物体相对于光照移动时，可能会出现强烈的阴影效果或镜面反射，这会干扰纹理（反照率）映射的可靠恢复。在这种情况下，最好通过建模光源方向并估计表面反射特性，同时恢复纹理映射，来明确消除阴影效果。

2. 双向反射分布函数（BRDF）估计

一种更具挑战性的方法是为物体表面的每个点估计一个通用的双向反射分布函数（BRDF）。BRDF可以写成：
[fr(\theta_i, \varphi_i, \theta_r, \varphi_r; \lambda)]
其中，((\theta_i, \varphi_i))和((\theta_r, \varphi_r))是入射光线方向(\hat{v}_i)和反射光线方向(\hat{v}_r)与局部表面坐标系((\hat{d}_x, \hat{d}_y, \hat{n}))所成的角度。

当建模物体的外观时，需要估计物体表面每个点(x, y)的这个函数，从而得到空间变化的BRDF（SVBRDF）：
[fv(x, y, \theta_i, \varphi_i, \theta_r, \varphi_r; \lambda)]

如果考虑次表面散射效应，则使用八维的双向散射 - 表面反射分布函数（BSSRDF）：
[fe(x_i, y_i, \theta_i, \varphi_i, x_e, y_e, \theta_e, \varphi_e; \lambda)]

以下是一些估计BRDF的方法：
- 传统方法 ：使用测角反射仪进行精确的视觉角度和反射率测量。
- 图像基方法 ：同时从多张照片中恢复物体的3D形状和反射率。例如，Lensch等人开发的系统，通过局部表面法线估计来估计局部变化的BRDF，并细化形状模型。

近年来，一些新的方法也不断涌现，如使用RGB - D扫描仪、闪光/无闪光图像对或深度学习方法来同时估计表面法线和外观模型。

3. 3D模型捕获应用

从多张图像构建完整的3D模型并恢复其表面外观的技术，开启了一系列被称为3D摄影的新应用。

3.1 自动化系统

有一些自动化系统可以完成从特征匹配、运动结构恢复、密集深度图估计、3D模型构建到纹理映射恢复的所有任务。例如ARC3D，它是一个完整的基于网络的系统，可以自动执行这些任务。

3.2 商业系统

Pix4D是一个较新的商业摄影测量建模系统，可用于物体和场景捕获。它的网站展示了一个从常规和无人机航拍照片重建的3D纹理映射城堡的精彩示例。

3.3 交互式系统

除了全自动系统，还有交互式计算机视觉系统，让用户参与到建模过程中。例如，Facade建筑建模系统和VideoTrace系统，用户可以在点云之上绘制三角形和表面，并交互式调整模型顶点的位置。

4. 相关练习

以下是一些相关的练习，可以帮助你更好地理解和应用这些技术：
1. 形状从聚焦 ：
- 拍摄校准图像，计算散焦量与聚焦设置之间的映射。
- 尝试使用正平行平面目标和倾斜目标，比较效果。
- 在场景中放置真实物体，进行类似的聚焦扫描。
- 为每个像素计算局部清晰度，并拟合抛物线曲线以找到最清晰的聚焦设置。
- 将聚焦设置映射到深度，并与真实值进行比较。
- （可选）尝试从两三个聚焦设置中恢复深度图。
- （可选）使用LCD投影仪投射人造纹理，并比较形状从聚焦和形状从立体技术的准确性。
- （可选）使用特定技术创建全聚焦图像。
2. 阴影条纹 ：
- 设置两个背景平面，并计算它们相对于观察者的方向。
- 用棍子在场景中投射移动阴影，并记录视频或捕获数据。
- 从阴影在两个背景上的投影估计每个光平面方程。
- 对每个曲线的其余点进行三角测量，得到3D条纹，并使用3D图形引擎显示条纹。
- （可选）去除对已知第二个（垂直）平面的要求，并推断其位置或光源的位置。
3. 范围数据配准 ：使用迭代最近点（ICP）或八叉树有符号距离场等技术注册两个或多个3D数据集。
4. 范围数据合并 ：使用有符号距离场或其变体合并注册的数据集，并使用移动立方体提取网格表面模型。
5. 表面简化 ：使用渐进网格或其他技术创建表面模型的分层简化。
6. 建筑建模 ：从一系列手持广角照片构建建筑结构的3D内部或外部模型，包括提取线条和消失点、恢复相机姿势、让用户绘制墙体位置、将多边形网格转换为3D模型并进行纹理映射。
7. 人体跟踪 ：下载人体运动序列，实现人体运动跟踪器或扩展现有代码。
8. 3D摄影 ：结合之前开发的技术，创建一个系统，从一系列照片或视频构建逼真的纹理映射3D模型。

以下是一个简单的流程图，展示了从多图像到3D模型的基本流程：

graph LR
    A[多图像] --> B[特征匹配]
    B --> C[运动结构恢复]
    C --> D[密集深度图估计]
    D --> E[3D模型构建]
    E --> F[纹理映射恢复]
    F --> G[3D模型]

通过这些技术和练习，我们可以更好地实现3D重建和外观建模，为各种应用提供更真实、更精确的3D模型。

3D重建：纹理映射与外观建模全解析

5. 技术细节分析

在3D重建的过程中，各个环节都有其独特的技术细节和挑战，下面对一些关键技术进行详细分析。

5.1 纹理映射参数化

纹理映射参数化是将3D表面位置映射到(u, v)纹理坐标的过程。简单的每个三角形关联一个纹理映射方法虽然直观，但可能会浪费大量的纹理空间。而使用细分网格或几何图像的方法可以更高效地利用纹理空间。细分网格通过对原始网格进行细分，使得每个小三角形更适合纹理映射；几何图像则是将3D表面编码为2D图像，直接在图像上进行纹理操作。

5.2 视角相关纹理映射

当有多个源图像用于外观恢复时，视角相关纹理映射是一种有效的方法。其核心思想是根据虚拟相机、表面法线和源图像之间的角度，为每个多边形面选择最合适的源图像。具体操作步骤如下：
1. 计算每个多边形面的表面法线。
2. 计算虚拟相机与每个多边形面的相对位置和角度。
3. 计算每个源图像与多边形面的角度关系。
4. 根据角度关系，为每个多边形面选择最直接可见（垂直于法线）且分辨率最匹配纹理映射分辨率的源图像。
5. 对于斜视角的表面，可能需要混合不同的图像以获得最佳分辨率。

5.3 BRDF估计

估计BRDF是一个复杂的过程，需要大量的测量和计算。传统的测角反射仪方法可以精确测量视觉角度和反射率，但需要专业的设备和复杂的实验设置。图像基方法则通过多张照片同时恢复物体的3D形状和反射率，更适合实际应用。以Lensch等人的系统为例，其具体步骤如下：
1. 为每个表面点关联一个lumitexel，包含3D位置、表面法线和一组稀疏辐射样本。
2. 使用Lafortune反射模型和分裂聚类方法，将lumitexels聚类为具有共同属性的材料。
3. 为了建模详细的空间变化外观，将每个lumitexel投影到聚类材料形成的基上。

6. 不同技术的比较

为了更好地选择适合的3D重建技术，下面对几种常见的技术进行比较：

7. 未来发展趋势

随着技术的不断发展，3D重建和外观建模领域也呈现出一些新的发展趋势：
1. 深度学习的应用 ：深度学习在图像识别、计算机视觉等领域取得了巨大的成功，未来也将在3D重建中发挥重要作用。例如，使用深度学习方法可以更准确地估计表面法线、BRDF等参数。
2. 实时重建 ：随着硬件性能的提升，实时3D重建将成为可能。这将使得3D摄影和建模更加便捷，适用于更多的实时应用场景，如虚拟现实、增强现实等。
3. 多模态数据融合 ：结合RGB图像、深度图像、激光扫描等多模态数据，可以获得更准确、更详细的3D模型。未来的3D重建系统将更加注重多模态数据的融合和处理。

8. 总结

本文详细介绍了3D重建中纹理映射与外观建模的相关技术，包括纹理映射与反照率恢复、BRDF估计、3D模型捕获应用等方面。通过对这些技术的分析和比较，我们可以根据不同的应用场景选择合适的方法。同时，相关的练习可以帮助我们更好地理解和应用这些技术。未来，随着技术的不断进步，3D重建和外观建模将在更多领域得到广泛应用，为我们带来更加真实、生动的3D体验。

下面是一个mermaid格式的流程图，展示了3D重建的整体流程：

graph LR;
    A[图像采集] --> B[特征提取与匹配];
    B --> C[运动结构恢复];
    C --> D[深度图估计];
    D --> E[3D模型构建];
    E --> F[纹理映射与外观建模];
    F --> G[3D模型输出];

通过以上的介绍和分析，希望能够帮助你深入了解3D重建中纹理映射与外观建模的相关技术，为你的学习和研究提供一些参考。