guidance使用方式问题

实习阶段测试了一下DJI的视觉传感导航系统，就是下面这个东西。 组装说明： http://wiki.dji.com/cn/index.php/Guidance 最好按照安装视频来安装，我自己安装的时候先安装了四周的四个，下面的就不太好安装了。Ps，不知道为什么主控竟然是需要通过3M胶粘贴的，这点不太清楚处于什么考虑。 安装结束了如下图。   摄像头的标定部分就不做额

这里主要讲解一下大疆的妙算模块如何与飞控进行连接和通信； 首先了解官方的相关介绍https://www.dji.com/cn/guidance/info#video 观看视频并且下载用户手册 在用户手册中描述： 提到guidence与飞控之间通过CAN总线通信，能够获取超声波和图像信息，  通过以下步骤能够对guidance进行调参： 采用micro-usb接口连接PC机，使...

项目需要，最近调研了DJi GuidanceSDK，网上资料比较分散，做了一下整理。 GuidanceSDK:视觉传感导航系统 一．用法 通过USB或UART接口，GuidanceSDK可用于大疆的经纬M100或其它飞行机器人系统。   二．参数 2.1物理参数 尺寸 ·         视觉处理模块: 78.5mm ✕ 53.5mm ✕ 14mm

https://enterprise.dji.com/cn/sdk?site=brandsite&from=nav https://developer.dji.com/cn/guidance-sdk/ Guidance SDK 目前已弃用. 它会继续开放给Guidance系统使用，但是不会再维护更新。 以上是官方的相关连接 Guidance SDK可以让开发者通过Guidance的...

文章目录1. 概要2. 模型结构2.1 编码器2.2 循环解码器瓶颈模块上采样模块输出模块2.3 深度引导滤波器模块（DGF）3. 训练策略4. 实验 论文：Robust High-Resolution Video Matting with Temporal Guidance 1. 概要   大多数现有方法将视频数据视为一帧帧相互独立的图像加以处理。与此不同，本文利用一个循环架构来发掘视频中帧与帧间的时间信息，显著提高了时间一致性和抠图质量。同时，提出一种新的训练策略，同时用匹配和语义分割目标来训练网络，使

参考： https://zhuanlan.zhihu.com/p/647931149classifier guidance通过额外的分类器对diffusion过程中的score估计进行条件引导。classifier guidance diffusion的几个问题谷歌在Classifier-free diffusion guidance论文中提出Classifier-Free Guidance方案用以规避上述问题。通过调节引导的权重来控制生成图像的真实性和多样性的平衡。classifier-free guid

Classifier Guidance论文链接：Diffusion Models Beat GANs on Image Synthesis Classifier-free Guidance论文链接：Classifier-Free Diffusion Guidance 原理讲解：一个视频看懂什么是classifier guidance/classifier-free guidance扩散模型在提出之后是有两大优势的，第一是它生成效果比较好，保真度比较高；其次一点是它生成的这个图片的多样性要明显好于其他一些模型

本文比较了扩散模型中两种条件控制生成方式：Classifier-Guidance和Classifier-Free。前者通过额外训练分类器来调整预训练的无条件扩散模型，优点是复用现有模型，但存在噪声图像分类不准、梯度误导和类别覆盖有限等问题。后者则在训练时直接加入条件信号，通过同时处理有条件和无条件输出来提升生成质量，虽然效果更好但训练成本更高。两种方法在采样效率、训练难度和生成质量上各有优劣，需根据实际需求选择。

在生成过程中，模型从一个随机噪声开始，通过多次迭代去噪，最终生成有意义的数据，比如图像。这时候，如果需要生成特定类别的数据，比如生成猫的图像而不是狗的，就需要加入条件引导，控制生成的方向。这就是条件扩散模型的作用。而Classifier-Free Guidance则是在训练时，有时告诉模型生成猫，有时不告诉任何条件，然后在推理时通过调整条件和非条件的权重来加强条件的影响，比如让条件预测的权重更大，从而生成更符合要求的猫的图像。通过理解这三种方法的差异，可根据具体任务需求选择最适合的条件引导策略。

在RL过程中加入外部强力模型，让policy在探索的同时也模仿学习

条件生成模型中的Guidance技术

从讲扩散模型到现在。我们很少讲过条件生成（Stable DIffusion曾提到过一点），所以本篇内容。我们就来具体讲一下条件生成。这一部分的内容我就不给原论文了，因为那些论文并不只讲了条件生成，还有一些调参什么的。并且推导过程也相对复杂。我们从一个比较简单的角度出发。参考代码：[扩散模型条件生成——Classifier Guidance和Classifier-free Guidance原理解析-哔哩哔哩]

更新记录：2019/11/14 更新STM32（F407VET6）读取Guidance数据 Github地址。 背景：想要将祖传的Guidance用于DJI A3/新固件的N3飞控。DJI已经停止对于Guidance的更新以及维护工作，Guidance无法和A3、新版固件的N3兼容。拟利用STM32做一块转接板读取Guidance数据发送给A3，并测试Guidance的性能。 DJ...

Robust High-Resolution Video Matting with Temporal Guidance算法讲解笔记

我们介绍了一种强大的、实时的、高分辨率的人类视频消光方法，实现了新的最先进的性能。我们的方法比以前的方法要轻得多，可以在Nvidia GTX 1080Ti GPU上以76 FPS的速度处理4K，以104 FPS的速度处理高清。与大多数现有的将视频逐帧作为独立图像进行消融的方法不同，我们的方法使用了一个递归架构来利用视频中的时间信息，并在时间一致性和消融质量方面取得了明显的改善。此外，我们提出了一种新的训练策略，使我们的网络在消光和分割目标上都得到加强。这极大地提高了我们模型的稳健性。

本文主要讲述了一个先进的抠图算法，其与语义分割存在细微差异，抠图算法还要多预测一个α参数，其实质上可以视为视频的实时语义分割。其所设计的网络结构支持时序数据训练，也支持单图训练。其训练流程比较繁琐，先基于短时序进行训练，然后再基于长时序进行训练。最终所设计的网络模型可以输出单个图片进行预测，也可以输入图片序列进行预测（`这主要源于其网络结构的设计特点，针对不同的数据走不同的forword形式`）。这种设计思路可以应用到视频分割中。

我们介绍了一种稳健、实时、高分辨率的人类视频抠图方法，该方法取得了新的最先进性能。我们的方法比以前的方法轻得多，可以在Nvidia GTX 1080Ti GPU上以76 FPS处理4K，以104 FPS处理HD。与大多数现有的逐帧作为独立图像进行视频抠图的方法不同，我们的方法使用循环架构来利用视频中的时间信息，并在时间一致性和抠图质量方面取得了显著改进。此外，我们提出了一种新的训练策略，强制我们的网络同时满足抠图和分割目标。这显著提高了我们模型的稳健性。