理论分析IRLS迭代加权最小二乘法（根据Gorodnitsky and Rao）

最新推荐文章于 2026-05-11 11:53:01 发布

原创

最新推荐文章于 2026-05-11 11:53:01 发布 · 1.1w 阅读

标签

#IRLS #Sparse represetation

本文深入解析IRLS（Iterative Reweighted Least Squares）算法，介绍其在解决欠定系统问题上的应用，以及如何通过L0-norm松弛化将高度不连续问题转化为连续甚至光滑逼近。文章覆盖SVD分解、伪逆、IRLS核心思想及实现策略。

最近在拜读Michael Elad的《Sparse and Redundant Representations》，里面关于IRLS的讲解比较透彻（根据Gorodnitsky and Rao的理论），从理论到算法的过程，和大家分享一下。知识水平有限，望各位指出错误，不吝赐教。

一. 阅读以下内容需具备的知识基础

1. SVD分解

可以参考：https://www.cnblogs.com/xiaohuahua108/p/6137783.html?utm_source=itdadao&utm_medium=referral（此链接未经原作者允许，请见谅。若原作者看到此引用认为不妥，请告知，笔者将第一时间处理）。

2. 伪逆

可以参考：：https://blog.csdn.net/you1314520me/article/details/78857759。（此链接未经原作者允许，请见谅。若原作者看到此引用认为不妥，请告知，笔者将第一时间处理）。

二. IRLS是什么？

IRLS是Iterative-Reweighed-Least-Squares是缩写，由Gorodnitsky and Rao提出，是FOcal Underdetermined System
Solver (FOCUSS) algorithm家族中的方法之一，主要作用顾名思义是解决欠定系统问题，也就是众所周知的P0问题。该方法属于凸松弛（Convex Relaxation）技术，其核心思想是通过将L0-norm松弛化（relaxation），把高度不连续的问题松弛化为连续的甚至是光滑逼近（smooth approximation）。

三. IRLS详解

一种L0-norm松弛化的技术即是IRLS，该方法将 $l_{p}-norm (p\in (0,1])$ 代替为加权 $l_{2}-norm$ 。首先，构造对角矩阵 $X_{k-1}=diag(\left |x_{k-1} \right |^{q})$ 。在这里 $x_{k-1}$ 是前一次迭代产生的近似解，将该解（列向量）的所有元素取绝对

最低0.47元/天解锁文章