吴恩达Coursera机器学习：exercise2

最新推荐文章于 2024-04-06 09:58:35 发布

原创最新推荐文章于 2024-04-06 09:58:35 发布 · 540 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

机器学习专栏收录该内容

1 篇文章

订阅专栏

本文通过使用逻辑回归预测学生是否能被大学录取的例子，介绍了如何实现逻辑回归及正则化逻辑回归，并展示了如何利用Matlab进行模型训练、评估模型准确性等关键步骤。

1. 逻辑回归

根据exam1和exam2的考试成绩，来预测学生能否被大学录取。

1.1 可视化数据

画出训练样本exam1和exam2的分布散点图。

1.2 步骤

1.2.1 sigmoid函数

1.2.2 代价函数和梯度

代价函数为：

梯度为：

for i = 1:m
    J = J + (-y(i) * log(sigmoid(theta.'* X(i,:).')) - (1-y(i)) * log(1 - sigmoid(theta.'* X(i,:).')));
end
J = J/m;
for j = 1:length(theta)
    for i = 1:m
        grad(j) = grad(j) + (sigmoid(theta.'* X(i,:).') - y(i))*X(i,j);
    end
    grad(j) = grad(j)/m;
end

1.2.3 用fminunc求解参数最优解

1.2.4 评价逻辑回归估计效果

p = sigmoid([X(:,1) X(:,2) X(:,3)] * theta);
p(find(p >= 0.5)) = 1;
p(find(p < 0.5)) = 0;

估计准确度为89%。

2. 正则化逻辑回归

2.1 可视化数据

2.2 增加特征数量

2.3 代价函数和梯度

正则化逻辑回归的代价函数和梯度为：

for i = 1:m
    J = J + (y(i) * log(sigmoid(X(i,:) * theta)) + (1-y(i)) * log(1 - sigmoid(X(i,:) * theta)));
end
J = -J/m;
for i = 1:length(theta)
    J = J + lambda/2/m * theta(i)^2;
end

for j = 1:length(theta)
    if j == 1
        for i = 1:m
            grad(j) = grad(j) + 1/m * (sigmoid(X(i,:) * theta) - y(i)) * X(i,j);
        end
    else
        for i = 1:m
            grad(j) = grad(j) + 1/m * (sigmoid(X(i,:) * theta) - y(i)) * X(i,j);
        end
        grad(j) = grad(j) + lambda/m * theta(j);
    end
end