Nerf-W学习记录（三）——个人数据训练

原创 已于 2025-05-17 18:57:33 修改 · 1.3k 阅读 · 33 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
于 2025-05-17 18:56:33 首次发布

**实在时隔太久，自己也记不清了，把训练结果放出记录一下**

*基本是自己断断续续的记录,进行了一个短期摸索*

系列内容：

Nerf-W学习记录（一）——环境配置-CSDN博客

Nerf-W学习记录（二）——个人LLFF数据集制作-CSDN博客

Nerf-W学习记录（三）——个人数据训练-CSDN博客

一、参考代码

1.Nerf/Nerf-W

*遇到问题：nerf-w部分不支持进行个人数据集训练模型，只能够完成nerf-w论文复现,支持blender和phototourism数据集*

2.Nerf-W

*遇到代码问题：复现作者提供数据集与个人制作数据集都会报错no intersection，从而导致模型无法进行训练*

3.LLFF数据集

二、LLFF数据集制作

参考内容：Nerf-W学习记录（二）——个人LLFF数据集制作-CSDN博客

1.制作流程

Step1：模型环拍获得图片

  • 选择单一背景拍摄制作数据集成功率较高
  • 数量不能过多，影响最终建模效果，100张左右效果比较好
  • 通过对环拍视频提取每帧图像进行数据集制作方式效果差，出现大量未匹配图像，实验后舍弃该方式

Step2：Colmap生成稀疏点云

  • 特征提取-->特征匹配-->三维重建-->导出模型
  • 特征点提取Camera model选用PINHOLE模型，nerf支持PINHOLE和RADIAL
  • SIMPLE_PINHOLE与PINHOLE对比缺少畸变参数、主点位置等数据生成

Step3：LLFF生成相关约束poses_bounds.npy文件

  • 如果数据集图片数量过多会存在图片未匹配问题，删除对应文件图片重新生成稀疏点云制作数据集，有时删除未匹配上的图片前一张图片更为有效。重复该过程直至成功生成约束文件。

2.相关参数

（1）拍摄设备：iPhone13Pro

  • 数据采集时设置为存储兼容性模式，关闭实况与raw模式

（2）格式：JPG（png格式也支持）

（3）数据存储格式：

  • images
    图片文件夹
    • xxx.jpg
  • sparse
    colmap导出生成建模数据
    • 0
      可能存在双目相机情况，故采用此命名存放对应生成数据
      • cameras.bin
        相机模型数据
      • images.bin
        图片数据
      • points3D.bin
        3D点云数据
      • project.ini
        colmap项目文件
  • database.db
    colmap建模database
  • poses_bounds.npy
    LLFF数据集相关约束信息，运行LLFF pose_utils.py生成

3.遇到问题与解决

  1. 数据集拍摄图片质量
    LLFF数据集生成过程中反复出现未匹配上的图片无法生成约束文件，重新拍摄质量更好的图片，把物体摆放在图片中心且尽可能保证拍摄背景环境单一
  2. 相机模型选择PINHOLE
    最初选用SIMPLE_PINHOLE模型导致nerf-w训练过程camera.bin读取数据数组维度不匹配，缺少cx,cy等参数

三、Nerf环境配置

1.环境配置参数

2.代码修改部分

  1. get_ray_direction
    • 报错
      fx, fy, cx, cy = K[0, 0], K[1, 1], K[0, 2], K[1, 2]
      IndexError: invalid index to scalar variable.
    • 分析
      • llff数据集传递参数只有焦距，需要多个参数并且进行修改
    • 解决
      • 通过blender数据集打印参数
        GPU available: True, used: True
        TPU available: None, using: 0 TPU cores
        LOCAL_RANK: 0 - CUDA_VISIBLE_DEVICES: [0]
        add [] perturbation!
        [[555.5555156 0. 200. ]
        [ 0. 555.5555156 200. ]
        [ 0. 0. 1. ]]
        [[555.5555156 0. 200. ]
        [ 0. 555.5555156 200. ]
        [ 0. 0. 1. ]]
      • llff.py对照blender.py
        • readmeta
          # step 1.5 define Kw, h = self.img_wh
          self.K = np.eye(3)
          self.K[0, 0] = self.K[1, 1] = self.focal
          self.K[0, 2] = w/2self.K[1, 2] = h/2

          self.directions = \
          get_ray_directions(self.img_wh[1], self.img_wh[0], self.K) # (H, W, 3)
  2. validation_step
    • 报错
      rays, rgbs, ts = batch['rays'], batch['rgbs'], batch['ts']
      KeyError: 'ts'
    • 分析与解决
      没有定义ts（时间步长/帧索引）

四、实验部分

1.nerf-w复现

1.1 blender数据集

（1）终端：

(nerf_pl) lib@lib:~/lib/nerf_pl$ python train.py    --dataset_name blender    --root_dir /home/lib/lib/nerf_pl/nerf_synthetic/lego/    --N_importance 64 --img_wh 400 400 --noise_std 0    --num_epochs 20 --batch_size 1024    --optimizer adam --lr 5e-4 --lr_scheduler cosine    --exp_name exp
GPU available: True, used: True
TPU available: None, using: 0 TPU cores
LOCAL_RANK: 0 - CUDA_VISIBLE_DEVICES: [0]
add [] perturbation!
/home/lib/anaconda3/envs/nerf_pl/lib/python3.6/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at  ../aten/src/ATen/native/TensorShape.cpp:2157.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]
Epoch 19: 100%|████████████| 15633/15633 [18:30<00:00, 14.08it/s, loss=0.0437, val/psnr=14, train/c_l=0.0207, train/f_l=0.0207, train/psnr=13.8]
Profiler Report
Action                          |  Mean duration (s)    |Num calls              |  Total time (s)       |  Percentage %         |
-----------------------------------------------------------------------------------------------------------------------------
Total                           |  -                    |_                      |  2.2217e+04           |  100 %                |
-----------------------------------------------------------------------------------------------------------------------------
run_training_epoch              |  1110.4               |20                     |  2.2208e+04           |  99.959               |
run_training_batch              |  0.067503             |312500                 |  2.1095e+04           |  94.948               |
optimizer_step_and_closure_0    |  0.056225             |312500                 |  1.757e+04            |  79.085               |
training_step_and_backward      |  0.055053             |312500                 |  1.7204e+04           |  77.436               |
model_backward                  |  0.050886

（2）结果：lego

1.2 phototourism数据集

（1）数据集

a.下载：

b.文件格式

  • dense
    • images
      • 1363张jpg文件，wh不一
    • sparse
      参数
      • cameras.bin
      • images.bin
      • points3D.bin
    • stereo
      深度信息
      • depth_maps
      • depth_maps_clean_300_th_0.10
  • brandenburg.tsv
    训练集和测试集划分，10张图用于测试

c.准备（可选部分）（降采样提高训练速度）

  • 终端
python train.py \
  --root_dir /home/lib/lib/nerf_pl/example/brandenburg_gate/ --dataset_name phototourism \
  --img_downscale 8 --use_cache --N_importance 64 -
  --encode_a --encode_t --beta_min 0.03 --N_vocab 1500 \
  --num_epochs 20 --batch_size 1024 \
  --optimizer adam --lr 5e-4 --lr_scheduler cosine \
  --exp_name brandenburg_scale8_nerfw
  • 结果
(nerf_pl) lib@lib:~/lib/nerf_pl$ python train.py \
>   --root_dir /home/lib/lib/nerf_pl/example/brandenburg_gate/ --dataset_name phototourism \
>   --img_downscale 8 --use_cache --N_importance 64 --N_samples 64 \
>   --encode_a --encode_t --beta_min 0.03 --N_vocab 1500 \
>   --num_epochs 20 --batch_size 1024 \
>   --optimizer adam --lr 5e-4 --lr_scheduler cosine \
>   --exp_name brandenburg_scale8_nerfw
GPU available: True, used: True
TPU available: None, using: 0 TPU cores
LOCAL_RANK: 0 - CUDA_VISIBLE_DEVICES: [0]
Epoch 19: 100%|█| 8539/8539 [12:56<00:00, 11.00it/s, loss=0.109, val/psnr=24.9, train/c_l=0.00419, train/f_l=0.285, train/b_l=-.176, train/s_l=0.00112
Profiler Report
Action                          |  Mean duration (s)    |Num calls              |  Total time (s)       |  Percentage %         |
-----------------------------------------------------------------------------------------------------------------------------
Total                           |  -                    |_                      |  1.5331e+04           |  100 %                |
-----------------------------------------------------------------------------------------------------------------------------
run_training_epoch              |  766.39               |20                     |  1.5328e+04           |  99.979               |
run_training_batch              |  0.088139             |170760                 |  1.5051e+04           |  98.171               |
optimizer_step_and_closure_0    |  0.07664              |170760                 |  1.3087e+04           |  85.363               |
training_step_and_backward      |  0.075009             |170760                 |  1.2808e+04           |  83.546               |
model_backward                  |  0.061202             |170760                 |  1.0451e+04           |  68.168               |
model_forward                   |  0.01358              |170760                 |  2319.0               |  15.126               |
on_train_batch_end

d.训练

  • 终端 
    python train.py \
  --root_dir /home/lib/lib/nerf_pl/example/brandenburg_gate/ --dataset_name phototourism \
  --img_downscale 8 --use_cache --N_importance 64 -
  --encode_a --encode_t --beta_min 0.03 --N_vocab 1500 \
  --num_epochs 20 --batch_size 1024 \
  --optimizer adam --lr 5e-4 --lr_scheduler cosine \
  --exp_name brandenburg_scale8_nerfw
  • 结果

1.3 llff数据集fern（gif太大了）

2.基于nerf的LLFF数据集质量检测

2.1 512*512Goda

1.epoch=20,spheric

  • 终端
(nerf_pl) lib@lib:~/lib/nerf_pl$ python train.py    --dataset_name llff    --root_dir /home/lib/lib/Goda/goda1_512_512/    --N_importance 
64 --img_wh 512 512   --num_epochs 20 --batch_size 1024    --optimizer adam --lr 5e-4 --lr_scheduler steplr   --decay_step 10 20 --decay_g
amma 0.5  --exp_name goda1_20_spheric --spheric
GPU available: True, used: True
TPU available: False, using: 0 TPU cores
CUDA_VISIBLE_DEVICES: [0]
val image is /home/lib/lib/Goda/goda1_512_512/images/0098.jpg
Epoch 20: 100%|██████████████| 37121/37121 [42:38<00:00, 14.51it/s, loss=0.003, v_num=0, train_psnr=28.1, val_loss=0.00446, val_psnr=27.3]
Profiler Report
Action                  |  Mean duration (s)    |  Total time (s) 
-----------------------------------------------------------------
on_train_start          |  0.00016261           |  0.00016261     
on_epoch_start          |  0.00020084           |  0.0040168      
get_train_batch         |  0.00017425           |  129.36         
on_batch_start          |  4.4315e-06           |  3.2899         
model_forward           |  0.012029             |  8930.4         
model_backward          |  0.041819             |  3.1046e+04     
on_after_backward       |  1.2296e-06           |  0.91287        
optimizer_step          |  0.0013475            |  1000.4         
on_batch_end            |  0.00024676           |  183.2          
on_epoch_end            |  6.1626e-06           |  0.00012325     
on_train_end            |  0.00014522           |  0.00014522

结果

2.epoch=20

*应该还是要设置spheric的，否则渲染过程存在大面积留白等问题*

2.2 504*504 Goda2

1.epoch=10,spheric

五、Nerf-pl代码解读

  • 模型
    • 渲染阶段
      • Coarse Sampling粗略采样——N_samples
        在场景中使用均匀的深度范围，对每条光线进行采样，得到初步的粗略估计。采样点数量通常固定，对应参数 N_samples
      • Fine Sampling 精细采样——N_importance
        基于粗略阶段的结果对光线进行更密集的采样。N_importance 决定精细阶段中每条光线额外采样的点的数量。采样根据粗略阶段的概率分布进行，从而聚焦于更有可能贡献细节的区域。
      • 总采样点=N_samples+N_importance
  • nerfw分支
    • train.py
      训练数据集
      • NeRFSystem类
        • hparams
          超参定义模型配置，包括嵌入维度、学习率等
        • 射线xyz和dir
        • 初始化外观向量a和瞬态向量t
      • forward前向传播
        • 输入：rays 是光线数据，ts 是时间戳。
        • 输出：通过将光线和嵌入送入 render_rays 函数，得到场景的渲染结果。使用 chunk 处理大批量数据，防止显存溢出。
      • setup
        • dataset_dict：根据超参数中的数据集名称，加载相应的数据集类。
        • train_dataset和 val_dataset：分别定义训练集和验证集。
      • configure_optimizers
        优化器和学校率调度器
      • training_step
        • batch：训练数据集中的一个批次，包括光线数据 rays、RGB 图像 rgbs 和时间戳 ts。
        • loss_d：计算损失函数。
        • psnr_：通过 PSNR (峰值信噪比) 评估图像质量。
        • self.log：将损失和 PSNR 记录下来，方便监控训练过程。
      • 执行
        • phototourism数据集
          python train.py \> --root_dir /home/lib/lib/nerf_pl/example/brandenburg_gate/ --dataset_name phototourism \> --img_downscale 8 --use_cache --N_importance 64 --N_samples 64 \> --encode_a --encode_t --beta_min 0.03 --N_vocab 1500 \> --num_epochs 20 --batch_size 1024 \> --optimizer adam --lr 5e-4 --lr_scheduler cosine \> --exp_name brandenburg_scale8_nerfw
        • blender数据集
          python train.py --dataset_name blender --root_dir /home/lib/lib/nerf_pl/nerf_synthetic/lego/ --N_importance 64 --img_wh 400 400 --noise_std 0 --num_epochs 20 --batch_size 1024 --optimizer adam --lr 5e-4 --lr_scheduler cosine --exp_name exp
    • prepare_phototourism.py
      预处理photorourism数据集，进行降采样提高速度
      • 执行
        python prepare_phototourism.py --root_dir $ROOT_DIR --img_downscale {an integer, e.g. 2 means half the image sizes}
    • opt.py
      配置参数
    • datasets
      数据集
    • models
      模型
    • utils
      工具函数
    • losses
      损失函数
    • metrics
      评价指标
标签
#学习 #python #blender #ubuntu #nerf
嘎咕Boom
关注
nerf训练自己的数据，过程记录十分详细
热门推荐
qq_43575504的博客
03-06 2万+
用nerf渲染自己拍摄的数据，过程详细且配图解释！！！
nerf训练自己的数据集
weixin_48433993的博客
08-23 974
下载LLFF配置环境，这里要求没那么严格我的tensorflow-gpu是2.7.0的，还有那个 imageio == 2.4.0不用安装，你在安装scikit-image的时候就已经安装了，虽然版本不是2.4.0，但是也能用。3.之后将数据colmap_test整个文件放到nerf中data当中的liff里面，新建一个colmap_test.txt文件，之后训练，发现出问题。但是得出的视频效果并不好，感觉可能跟训练次数有关，人家训练20万，我就训练5万，但是也不至于混乱，也可能跟图片精度有关。
nerf-w.github.io
05-07
NeRF-W项目网站 添加视频 Git中对视频等大型Blob的支持不佳。 对于视频版本控制，我们使用 （用于大文件存储的git插件）。 虽然这使Github可以存储视频，但是并不能使从Web上轻松访问视频。 对于托管，我们使用Google Cloud Storage。 以下是添加新视频的步骤， 在您的系统上安装git lfs 。 这仅需要执行一次。 请按照。 将视频添加到此存储库。 如果是.mp4或.webm文件，则git lfs会自动对其进行跟踪。 如果没有，则将该文件类型添加到此存储库中的.gitattributes中。 使用正常的git工作流程将更改推送到Github。 以HTML引用视频时，请使用https://storage.googleapis.com/nerf-w-public/videos/...类的链接https://storage.googleapis.com/
Nerf-W学习记录（二）——个人LLFF数据集制作
Jenniehubby的博客
08-28 764
拜托了能不能走完流程啊
自用-nerf合成数据集的制作流程
12-18
自用-nerf合成数据集的制作流程
Nerf-W学习记录（一）——环境配置
Jenniehubby的博客
08-25 850
记录一下过程
Point-NeRF总结记录
fjyalzl的博客
04-11 6625
Point-NeRF阅读总结记录 PPT形式
【成长day】NeRF学习记录2：NeRF源码解析
最新发布
qq_42692305的博客
11-03 1039
NERF学习记录2：NeRF源码解析，重建
原始NeRF代码学习记录
OrdinaryMatthew的博客
07-14 3954
NeRF 代码学习
4、nerf（pytorch）
小白的博客
07-29 7278
nerf-pytorch
【NeRF数据集】LLFF格式数据集处理colmap结果记录
格物致知
01-03 5125
以方便python读取，且NeRF模型源码拥有直接对LLFF格式数据集进行训练的配置和模块，便于研究者使用。或者 File 导出 export model，新建名称为sparse保存的位置，sparse文件下的0文件作为输出结果，这里包含具体见上图。得到COLMAP位姿匹配数据后，我们要对每张图片的位姿信息进行格式转换，转换为LLFF格式方便Nerf模型读取。而不是直接输入图像数据，当然也可以，只是存在2个问题，1是收敛速度变慢，2是重建效果变差。配置nerf-pytorch 工程 ，开始训练！
NeRF Pytorch 代码笔记
weixin_46117498的博客
10-27 4634
https://www.youtube.com/watch?v=kh_hxFnuQNI&t=8s
复现point-nerf踩坑记录（可以运行测试）
weixin_59961223的博客
05-31 5294
注：本次复现仅仅运行了测试，我感觉point-nerf给的代码有些繁冗，不容易去读，而且在配置运行环境的过程中出现了很多问题，在运行训练的时候cuda出现了错误，但是在运行测试的时候可以运行，并且渲染出了图片、视频以及gif动图，效果还是可以的。本文就是以我复现point-nerf的测试为基础，从环境的配置以及代码的修改和最后的渲染所出现的一些坑做了一些记录，也希望有复现过point-nerf的大佬能够给一些指点。
nerf-pytorch训练自己的数据集
Ajaxm的博客
10-29 2113
nerf三维重建训练
复现nerfstudio并训练自己制作的数据集
Destiny_Di的博客
02-29 6766
复现nerfstudio并训练自己制作的数据集
NeRF系列(2):NeRF in the wild : Neural Radiance Fields for Unconstrained Photo Collections论文解读与公式推导
qq_35831906的博客
06-13 2487
我们提出了一种基于学习的方法，利用非结构化的野外照片集合合成复杂场景的新视角。我们在神经辐射场（NeRF）的基础上进行了改进，以解决在真实世界的图像中存在的光照和遮挡等问题。我们将我们的方法命名为NeRF-W，并将其应用于互联网上著名地标的照片集合，展示了更接近真实照片的新视角渲染效果。
运行github中NeRF-W代码时出现的问题和解决方法
fighterlucky的博客
03-21 1169
pytorch-lightning版本问题导致的几个错误
NeuS代码记录+nerf-W+ Multi-NeRF 报错解决方法
weixin_47343723的博客
08-13 1084
每天都想着早走，每天都没办法早走，真的是又气又烦，总有改不完的bug。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值