无约束非线性优化问题——牛顿法

一、牛顿法原理

  牛顿法的原理是利用一阶导数（梯度）和二阶导数（Hess）对目标函数进行二次函数近似，把二次函数的极小值当成新的迭代点，不断重复，从而找到最优解。
  取$x_k$泰勒展式的前3项：
$$q_k(x)=f_k+g_k^T(x-x_k)+\frac{1}{2}(x-x_k{)}^T{G}_k(x-x_k)$$
  其中，$f_k=f(x_k),g_k=\delta f(x_k),G_k=\delta f^2(x_k)$

  求二次函数$q_k(x)$的稳定点，得：
$$g_k^T+G_k(x-x_k)=0$$ $$x_{k+1}=x_k-G_k^{-1}{g}_k$$

算法步骤：

1). 取初值点$x_0$,容许误差$0<=e<<1$。令$k:=0.$
2). 计算$g_k=\delta f(x_k)$ ,若$||g_k||<=e$,输出$x_{\ast }=x_k.$
3). 计算$G_k={\delta }^{2}f(x_k)$,并求解线性方程组
$$G_k{d}_k=-g_k$$得 $d_k$
4). 令$x_{k+1}:=x_k+d_k;k=k+1,$转步骤1）

二、Matlab程序及仿真

1、Matlab程序

%--------------Function:Unconstrained Nonlinear Optimizatioin----
%--------------Remark: Use Newton Method ----------------------
%--------------Data：2024.10.30----------------------------------
%--------------Author：Clemence----------------------------------
%--------------Reference：<<Optimization Calculation Method and its Matlab Program Implementation>>----------------------------------


x0 = [-1.2;1.0];
[k,x,val] = dampnm('fun','gfun','Hess',x0,1e-5)
%--------------Newton Method---------------------------------------------
function [k,x,val] = dampnm(fun,gfun,Hess,x0,epsilon)
maxk = 5000;
beta = 0.5;
while(k<maxk)
    gk = feval(gfun,x0); %Calculate Gradient
    Gk = feval(Hess,x0); %Calculate Hess
    dk = -Gk\gk;    %Calculate Search Direction
    
    if(norm(gk)<epsilon)
        break;
    end
    m = 0;mk = 0;
    while(m<20)
        if(feval(fun,x0+beta^m*dk)<=feval(fun,x0)+sigma*beta^m*gk'*dk)
            mk = m;
            break;
        end
        m = m+1;
    end
    x0 = x0+beta^m*dk;
    k = k+1;
end
x = x0;
val = feval(fun,x);
end

%--------------Original Function-------------------------------------------
function f = fun(x)
    f = 4*(x(1)^2-x(2))^2 + 3*(x(1)-1)^2;
end
%--------------Gradient Function-------------------------------------------
function gf = gfun(x)
    gf = [16*(x(1)^2-x(2))*x(1)+6*(x(1)-1);-8*(x(1)^2-x(2))];
end
%--------------Hess   -----------------------------------------------------
function He = Hess(x)
    He = [48*x(1)^2-16*x(2)+6,-16*x(1);
         -16*x(1),            8];
end

2、仿真结果

三、结果分析

  从仿真结果中可以看出，牛顿法的迭代次数约为15次，最优解的误差小于1e-16，迭代次数和误差值明显优于梯度法，初始值的选取对算法的性能影响也较小。