文章介绍了PyTorch语法学习计划以及Dream-fusion代码结构，包括DMtet的隐式和显式表示结合技术，Raymarching与Raycasting、Raytracing的区别，Linux常用命令，以及深度学习中的反向传播原理。此外，还提及了神经辐射场（NeRF）、稳定扩散（StableDiffusion）和相关损失函数的应用。
总结：首先pytorch语法还存在不熟悉的问题，计划先1-2天补齐。目前dream-fusion代码结构主要分为如下几个部分：NeRF、Ray marching、Stable diffusion、Classifier-guidance、SDS-Loss、CLIP-measurement、Dmtet。预估各自需要2-3天的时间将代码和算法对应。
1.DMtet
隐式表达训练合适的SDF描述模型，显式表达用网格直接描述。结合了隐式表示和显式表示的优点，DMtet构建了可变形的四面体网格和一个可微的行进四面体层。可变形的四面体网格用于编码一个离散化的SDF。可微的行进四面体层将隐式表示转化为显式表示。前者使得模型能够被整体地优化。后者使得模型能够利用reconstruction loss, adversial loss生成模型的显式表达。
2.Ray marching & Ray casting & Ray tracing
Ray casting:当光线第一次击打到物体表面，光线就停止。不包含反射和折射。
ray tracing：符合物理世界中光线被反射、折射的性质。光线从相机出发到场景，在多个物体间弹射后，再停止。
path tracing：是一种避免ray tracing中部分光线重复传播的优化方法。使用蒙特卡洛方法，使每个光子随机选择，而不是不断地分割光线。
ray marching:使用sdf事先判断安全距离加速ray tracing的优化方法。
3.linux 常用 语句
Pwd: print working directory
Mkdir foldername: create new folder
Ls: print folder content
扫一扫
1766
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
