Logistic Regression 学习

最新推荐文章于 2021-02-01 19:58:48 发布

原创最新推荐文章于 2021-02-01 19:58:48 发布 · 802 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

机器学习专栏收录该内容

27 篇文章

订阅专栏

本文介绍了一种实现逻辑回归的梯度上升法，并提供了详细的MATLAB代码示例。该方法通过迭代更新参数来最大化对数似然函数，适用于二分类问题。文章还包含了测试代码及数据文件的获取方式。

记录使用，参考ng代码，相关参考：http://blog.csdn.net/yangliuy/article/details/18504921

logistic_grad_ascent.m代码

% logistic_grad_ascent.m
function [theta,ll] = logistic_grad_ascent(X,y,alpha,max_iters)
% rows of X are training samples
% rows of Y are corresponding 0/1 values

% output ll: vector of log-likelihood values at each iteration
% ouptut theta: parameters

[m,n] = size(X);

X = [ones(size(X,1),1), X]; % append col of ones for intercept term

theta = zeros(n+1, 1);  % initialize theta
for k = 1:max_iters
  hx = sigmoid(X*theta);
  theta = theta + alpha * X' * (y-hx); 
  ll(k) = sum( y .* log(hx) + (1 - y) .* log(1 - hx) );
end
end

function a = sigmoid(z)
a = 1.0 ./ (1.0 + exp(-z));
end

logistic_grad_ascent_test.m

function logistic_grad_ascent_test

load q1y.dat
load q1x.dat
alpha = 0.0001;
max_iters = 500;
[th,ll] = logistic_grad_ascent(q1x,q1y,alpha,max_iters);
plot(ll)

end

q1x.dat：http://cs229.stanford.edu/materials/q1x.dat

q1y.dat：http://cs229.stanford.edu/materials/q1y.dat