梯度下降(Gradient descent) Matlab实现

最新推荐文章于 2024-09-25 22:08:20 发布

原创最新推荐文章于 2024-09-25 22:08:20 发布 · 1.3k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#机器学习 #算法

机器学习专栏收录该内容

1 篇文章

订阅专栏

这篇博客介绍了如何在Matlab中实现梯度下降法，用于优化机器学习中的成本函数。作者参照吴恩达的机器学习课程，给出了成本函数的公式，并详细说明了在有x0=1的情况下，梯度下降的迭代更新规则。

是跟随吴恩达机器学习课程学习的，具体的推导过程不再给出

求Cost Function:

假设函数 $h(x)=θ0+θ1x\displaystyle h(x) = \theta_0 + \theta_1 x$ ，样本数为 $n$ ，特征值数为 $1$ ，cost function为
$J(θ0,θ1)=12n∑i=1n(h(xi)−yi)2\displaystyle J(\theta_0, \theta_1) = \frac{1}{2n}\sum^n_{i = 1}(h(x_i) - y_i)^2$
由此很容易得到cost function

function J = costFunction(X, Y, theta)

% X  is the 'Design Mattix' containing our training examples
% Y  is the class labels

%number of training samples
m = size(X, 1);

%predictions
prediction = X * theta;

sqrErrors = (prediction - Y).^2;

J = 1 / (2 * m) * sum(sqrErrors);

end

这里的 $X$ 为了方便运算加入 $x_0 = 1$ ，也就是 $X=[1x11x2⋮⋮1xn]\displaystyle X = \left[\begin{matrix}1&x_1\\1&x_2\\\vdots&\vdots\\1&x_n\end{matrix}\right]$
梯度下降过程就是对 $θi\theta_i$ 进行迭代：
$θi:=θi−α⋅∂∂θiJ(θ)=θi−αn∑i=1n(h(xi)−yi)⋅xi\displaystyle \theta_i :=\theta_i - \alpha\cdot\frac{\partial}{\partial\theta_i}J(\theta) = \theta_i - \frac{\alpha}{n}\sum^n_{i = 1}(h(x_i) - y_i)\cdot x_i$
$α\alpha$ 为步长值

function theta = gradientDescent(X, y, theta, alpha, num_iters)

m = length(y); % 训练样本数

%迭代
for iter = 1:num_iters
    theta = theta - (alpha/m) * (X' * (X * theta - y ));
    
end

end

在这里插入图片描述