看视频bilibili,智能前线冯工的视频所写。 https://www.bilibili.com/video/BV1wbwSzeEmR/?share_source=copy_web&vd_source=7373c3fb96e31082251d4cdaf18ea474

Scene:场景 Lens:镜头 Sensor:传感器 A/D:模数转换器 DSP:数字信号处理器 MCU:微控制器(又叫单片器) storage:存储
第一步:光学采集(Scene —Lens)
光学采集场景(Scene)反射或发射的光纤通过镜头(Lens)聚焦,在感光面上形成倒立实像,镜头决定视场角、分辨率与景深,是成像质量的第一道关口。
第二步:光电转换(Lens —Sensor)
光电到达传感器(CCD/CMOS),每个像素点将入射光子转换为模拟电荷(电压/电流),此过程依赖量子效率与填充因子,直接影响信噪比。
第三步:(模数转换 Sensor—A/D)
光模拟电信号经A/D转换器量化为数字灰度值(如8bit/12bit/16bit),完成从连续物理量到离散数字信号的跃迁,奠定后续处理基础。
第四步:图像处理(A/D —DSP/MCU)
数字信号送入DSP(数字信号处理器)或MCU进行实时处理:包括去噪、增益校正、白平衡】色彩插值(Bayer解码)、边缘增强等,输出可用图像数据。
第五步:输出与存储(DSP —Storage)
最终图像可实时显示与LCD屏供人工监控,或写入存储器用于离线分析、算法训练或质检追溯。

光电转换:只识强弱,不分色彩
物理机制
基于光电效应,光子撞击硅基底产生电子电荷。
关键点:
1、电荷量仅与光强成正比,无法区分波长(颜色)。
2、原始传感器本质是“黑白”器件,仅记录亮度信息(灰阶)。
色彩获取:空间滤波技术(CFA)
实现手段
在像素单元覆盖卫星滤光片阵列(Color Filter Array)
工作原理
1、利用选择性透过特性,强制像素仅接受特定波段(R/G/B)
2、原始传感器本质是“黑白”器件,仅记录亮度信息(灰阶)

Bayer格式:残缺的原始数据
数据成因
单次曝光下,每个像素仅采集R、G、B中的一通道数据(即Bayer Raw Data)
排列逻辑
采用RGGB排列,模拟人眼对绿色光谱最敏感的生理特性
工作原理
1、Bayer:需差值算法还原色彩
2、真色彩(3-Chip):每像素独立采集完整RGB。无需差值

- Sensor (传感器):光线通过镜头进入,被带有CFA(彩色滤波阵列,通常是拜耳阵列)的CCD或CMOS传感器接收,转换为模拟电信号。
- ISO gain and raw-image processing (ISO增益与RAW处理):信号被放大(ISO增益)并进行初步的RAW数据处理。
- RGB Demosaicing (RGB去马赛克):由于传感器每个像素只记录一种颜色(R、G或B),此步骤通过插值算法将马赛克状的RAW数据还原为每个像素都包含RGB三通道的完整彩色图像。
- Noise Reduction (降噪):去除图像中的噪点,提高画质。
- White-Balance & Color Space Transform (白平衡与色彩空间转换):校正色温(白平衡),并将色彩空间转换为标准格式(如CIE XYZ),确保颜色准确。
- Color Manipulation (色彩处理/照片修整):进行色彩校正、饱和度调整、伽马校正等,使图像看起来更自然或符合特定风格。
- Mapping to sRGB output (映射到sRGB输出):将处理后的图像数据映射到标准的sRGB色彩空间,以便在显示器上正确显示。
- JPEG Compression (JPEG压缩):将图像压缩为JPEG格式以减小文件体积。
- Save to file (保存文件):将最终数据写入存储卡。
- DDR:双倍速率同步动态随机存储器,在此流程中通常用于缓存图像数据,供处理器高速读写。
图像传输流程
1、
采集-Sensor传感器
功能
光信号——电信号——数字Raw数据(Bayer格式)
关键点
1、逐行/帧输出,速度由像素时钟决定
2、瓶颈:曝光时间+读取方式(卷帘VS全局快门)
2、
处理-FPGA
功能
实时硬件加速:插值、色彩校正、ROI裁剪、加时间戳等
关键点
1、零延迟处理,支持格式转换(如Bayer——RGB/Mono)
2、所有操作通过逻辑电路实现,非软件运行
3、
缓存-DDR内存
功能
暂存整帧图像,平衡Sensor输出与接口传输速率差
关键点
1、防止丢帧(背压机制),需带宽>数据生成率
2、多缓冲设计避免画面撕裂
4、
传输-数据接口
功能
按协议封装数据包(GigE/USB3/CXP)发送至主机
关键点
1、受物理带宽限制(如GigE=1Gbps)
2、协议开销占10~15%,主机接受能力影响实际帧率

2万+

被折叠的 条评论
为什么被折叠?



