ML编程作业: Logistic Regression

最新推荐文章于 2024-06-06 00:22:32 发布

原创最新推荐文章于 2024-06-06 00:22:32 发布 · 644 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#matlab

matlab 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何使用Matlab实现逻辑回归算法。首先解释了逻辑回归的基本原理，包括使用sigmoid函数进行概率预测，并通过损失函数优化参数。接着，介绍了如何在逻辑回归中应用正则化以防止过拟合。最后，提供了具体的Matlab代码实现。

matlab编写，要求难度从低到高。填代码不难。
主要理解损失函数（假设 - y 的MSE），相比linear regression，逻辑回归的假设是在外面套了个sigmoid函数，使得theta’*X的范围变成(0, 1)，然后可以让>=0.5的X（i）的预测的y为1。否则为0。
这里写图片描述
因为y取值只有0 或 1，将两种取值的式子合并起来就是损失方程了。

逻辑回归的正则化是防止过拟合的，在损失方程后+**除theta0以外的参数平方***lambda。
这是使得参数越接近0。至于参数越接近0，越减少过拟合（我理解是这样），看视频吧。theta0对应的x0是常数1，所以要去掉theta0。

sigmoid(z)

f = @(x) 1/(1 + exp(-x));
g = arrayfun(f, z);

costFunction(theta, X, y)

hyp_ins = sigmoid(X * theta);

pos_part = -1 * log(hyp_ins);% m-by-1
zero_part = -1 * log(1 - hyp_ins);

J = sum(pos_part.*y + zero_part.*(1 - y)) / m;

for i = 1 : size(theta)
    grad(i) = sum((hyp_ins - y).* X(:, i))/m;

end

predict(theta, X)

mysig = sigmoid(X * theta);
p(mysig >= 0.5) = 1;
p(mysig < 0.5) = 0;

ex2_reg
costFunctionReg(theta, X, y, lambda)

hyp_ins = sigmoid(X * theta);

pos_part = -1 * log(hyp_ins);% m-by-1
zero_part = -1 * log(1 - hyp_ins);

J = sum(pos_part.*y + zero_part.*(1 - y)) / m;
regress = lambda * sum(theta(2:end).* theta(2:end)) / (2*m);% 除theta0
% 2:end这一步注意
J = J + regress;

for i = 1 : size(theta)
    if i == 1
        grad(i) = sum((hyp_ins - y).* X(:, i))/m;
    else
        grad(i) = sum((hyp_ins - y).* X(:, i))/m  + lambda * theta(i, 1)/m;
    end
end