Octave：梯度下降线性回归编程

最新推荐文章于 2021-10-17 16:32:05 发布

原创最新推荐文章于 2021-10-17 16:32:05 发布 · 782 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

机器学习

当前文章被收录于：

机器学习

3 篇文章 8 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文详细解析了Octave中实现的代价函数及梯度下降算法，展示了如何通过迭代调整参数来最小化代价函数，实现对线性回归模型的训练。文章深入探讨了代价函数的计算方式，以及梯度下降算法的具体步骤，包括设定学习率、更新参数等关键环节。

记录一下第一个Octave的代码。

传入的参数分别为自变量x，因变量（真实值）y，参数 $\Theta$ (随便给一个初值就行，但要注意向量的大小要和x，y匹配)

function J=function3(x, y, T)  %代价函数

J=1/(2*size(T,1))*sum((x*T-y).^2)
j=0;
m=0;
t1=0;
while 1,
	if(t1>=1000000),
		break;
	end

	for i=1:1:size(T,1),
		T(i)=T(i)-0.01*(1/size(T,1))*sum(x(:,i)'*(x*T-y));  %'
	end

	m=1/(2*size(T,1))*sum((x*T-y).^2);
	J=[J;j];                            %用来记录每次下降后的代价函数值
	if(abs(m-j)<=0.000000000000001),
		break;
	end

	j=m;

	t1=t1+1;
end

收敛效果(代价函数J)如图：