加快双核系统中Linux核前几帧3dnr降噪效果中的可行性分析(一)

        

目录

一、为什么缩放小核参考帧给大核 3DNR 会出现严重问题

1. 像素几何与采样不匹配,时域融合必糊 / 重影 / 伪轮廓

2. 硬件带宽、存储开销完全不划算,违背小核低功耗设计初衷

3. 成像链路物理差异无法通过缩放弥补

4. 3DNR 时域收敛逻辑不支持 “插值虚拟参考帧”

二、边界补充:有没有极特殊场景能局部复用缩放帧?

三、替代方案:不用缩放参考帧,依然实现 3DNR 快速预热(落地可行)

方案 1:复用小核收敛后的时域状态参数(当前量产主流)

方案 2:大核前几帧开启高速软收敛加速模式(配套参数预热)

方案 3:共享低分辨率全局统计图(非整帧参考)

四、总结


        工程上不建议直接把小核参考帧做缩放放大,作为大核 3DNR 初始时域参考帧;仅能复用小核导出的统计 / 配置参数,不能复用原始像素参考帧。 下面分硬件瓶颈、图像失真、3DNR 算法逻辑三层拆解,再给出可行替代预热方案。

一、为什么缩放小核参考帧给大核 3DNR 会出现严重问题

1. 像素几何与采样不匹配,时域融合必糊 / 重影 / 伪轮廓

  1. 采样网格错位 小核是低分辨率采样网格,大核是高密度像素网格,简单双线性 / 双三次缩放只能插值出新像素,没有真实高分辨率纹理、边缘细节
  • 小核里细线条、文字、发丝,放大后会出现锯齿、模糊、边缘偏移;
  • 大核真实帧的边缘位置和缩放参考帧边缘对不齐,3DNR 时域融合时,边缘区域持续判定为 “运动区域”,降噪失效,噪点反弹。
  1. 块级运动检测 MV 完全失效 3DNR 运动检测以宏块为单位计算块差值、运动向量:
  • 小核宏块尺寸(如 16×16)对应到大核是几倍像素范围,缩放后的参考块亮度、色度分布失真;
  • 大核真实画面块与缩放参考块差异巨大,误判为全域运动,时域滤波直接关断,预热完全失去意义。

2. 硬件带宽、存储开销完全不划算,违背小核低功耗设计初衷

  1. 小核参考帧 YUV 缓存本身是低分辨率,若要放大到 4M/8M 大核分辨率:
    • 需要额外硬件缩放单元做实时上采样;
    • 放大后的整帧要存入大核 3DNR 参考帧 DDR 缓存,帧容量提升 4~16 倍,拉高 DDR 带宽、功耗;
  2. 原本架构是小核轻负载预收敛、大核高画质主输出,放大参考帧会让小核 / 总线带宽压力暴涨,丢失分层多核设计的优势。

3. 成像链路物理差异无法通过缩放弥补

  1. Binning / 采样模式不同 小核常开 Binning 降分辨率,像素合并会丢失高频细节;大核原生逐像素读出,二者噪声分布、纹理响应完全不同。缩放无法还原 Sensor 原生高分辨率噪声特性。
  2. 光学、畸变、LSC 差异 小核小窗裁剪、低分辨率校正系数和大核全幅 LSC、畸变校正不统一。缩放后的参考帧亮度均匀性、暗角、色差和大核实时帧存在系统性偏移,时域融合后会出现画面明暗周期性闪烁。

4. 3DNR 时域收敛逻辑不支持 “插值虚拟参考帧”

3DNR 的核心是同分辨率、同成像链路的连续真实帧累积置信度

  • 初始参考帧如果是插值放大的虚拟帧,时域融合几帧后,真实高分辨率画面会不断修正偏差,前几帧反而出现:拖影、 ghost 鬼影、画面雾化;
  • 置信度计算基于真实像素噪声统计,插值帧噪声分布失真,会导致 NR 强度计算错乱,暗光下要么降噪失效,要么过度模糊。

二、边界补充:有没有极特殊场景能局部复用缩放帧?

仅一种场景可局部有限使用,且不能作为完整 3DNR 时域参考帧: 静态无运动、大景静态监控,仅用来做初始亮度统计基底

  1. 只提取缩放帧的全局亮度直方图、分区亮度均值;
  2. 不写入 3DNR 时域参考缓存,仅用来初始化 NR 亮度分区 LUT 阈值;
  3. 一旦画面出现微小运动,立刻丢弃该缩放统计基底,完全依赖大核原生帧。

本质还是复用统计参数,不是把缩放帧当做时域滤波参考图像。

三、替代方案:不用缩放参考帧,依然实现 3DNR 快速预热(落地可行)

方案 1:复用小核收敛后的时域状态参数(当前量产主流)

无需传递任何像素帧,只传递量化统计量,无带宽开销:

  1. 可跨核同步:全局时域融合基础 α、明暗区分区时域强度 LUT、静态场景置信基底、运动检测全局阈值;
  2. 按分辨率缩放换算宏块差异阈值、块级 NR 增益;
  3. 大核初始化时,直接加载这套收敛后的参数,替代默认全 0 初始状态;
  4. 前 3 帧做 α 渐变过渡,从小核适配权重平滑切到大核原生权重。 效果:跳过 3~6 帧无降噪弱收敛阶段,噪点抑制能力直接拉满,不存在边缘错位、鬼影问题。

方案 2:大核前几帧开启高速软收敛加速模式(配套参数预热)

  1. 前 4 帧临时提升时域融合权重,快速累积自身真实高分辨率参考帧;
  2. 运动检测临时放宽判定,小幅容忍轻微拖影换取降噪效果;
  3. 配合同步过来的 AE 增益、曝光,从根源减少曝光噪点输入。

方案 3:共享低分辨率全局统计图(非整帧参考)

小核输出下采样亮度 / 色度置信 Map(低分辨率小块统计表,几百字节级别),共享给大核:

  • 大核内部硬件上采样统计阈值,用于初始化分区域降噪强度;
  • 仅传递统计数值表,不传递完整 YUV 像素帧,带宽极低;
  • 只控制空域 + 分区时域强度,不替代时域参考缓存。

四、总结

  1. 禁止将小核参考帧缩放放大作为大核 3DNR 时域参考帧:采样网格错位、运动检测失效、成像链路不匹配、带宽功耗激增,会引入鬼影、边缘模糊、降噪失效等更严重画质问题;
  2. 小核参考帧的价值不在像素图像本身,而在于收敛完成的降噪配置、光照统计、时域置信参数
  3. 标准落地方案:跨核共享 NR 参数 + 分辨率系数换算 + 多帧权重渐变,搭配大核自身快速收敛模式,在不传递图像帧的前提下,解决大核初始化前几帧噪声过高问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大熊背

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值