人工智能入门4 回归分析&&线性回归

手撕一元线性回归 很多人对人工智能模型不了解 现在我们对一些简单的模型纯手工实现一下 理解了人工智能原理,后面的学习就会更容易了 一元线性回归 人工智能里,最容易让人理解的应该就是 回归 这个用xls都可以做 开篇必须说几个概念,早就懂和不愿意看的直接跳过 回归 回归,指研究一组随机变量(Y1 ,Y2 ,…,Yi)和另一组(X1,X2,…,Xk)变量之间关系的统计分析方法,又称多重回归分析 通常Y1,Y2,…,Yi是因变量,X1、X2,…,Xk是自变量 一元线性回归 回归分析只涉及到两个变量的,称一元回归分析 当Y 阅读详情

在之前的课程中我们提到了监督学习:

监督学习(Supervised Learning)-训练数据包括正确结果(标签label),我们为机器提供正确的分类。应用场景:人脸识别、语音诊断等

而线性回归则是监督学习的一种算法。

回归分析

什么是回归分析(Regression Analysis)?

研究自变量(或者预测变量)与因变量之间的关系。它根据数据,确定两种或两种以上变量间相互依赖的定量关系。

它可以在一堆数据中,对数据进行拟合:

拟合(Fitting)是统计学和机器学习中的一个重要概念,指的是通过一个数学模型来逼近或匹配观测数据的过程。拟合的目标是使模型能够在给定的数据集上尽可能地接近实际观测值,从而可以用模型来进行预测、推断或分析。

举一个简单的例子:在xy坐标轴上,把一个个点计算出一个趋势,画出一条最趋近于这些点的线。比如人口与房价的关系,医疗水平与人均寿命的关系等等。

↑看到点里那条神奇的线了嘛?

回归分析的分类

回归分析根据变量数可以分为

  • 一元回归:y=f(x)
  • 多元回归y=f(x1,x2,...,xn)

根据函数关系可以分为

  • 线性回归:y=ax+b
  • 非线性回归:y=ax²+bx+c

线性回归

根据刚才提到的,变量x和因变量y之间存在线性关系,表达式为y=ax+b

回归问题求解

假设房价为P、房子面积为A。为了预测110平米的房子卖150万是否合理,我们应该确定P和A之间的定量关系,也就是P=f(A)。而线性模型为y=ax+b,则我们的目标为:寻找合理的a和b。

how?

设x为变量,y是结果,y'是模型输出结果,则我们求a和b的目标变成了:y'尽可能接近y:

minimize\left \{ \sum_{i=1}^{m}\left ( y'_{i}-y_{i} \right )^{2} \right \}平方是因为可能有负数出现。

后续的计算需要除以m且求导,因此原式上加入1/2m,这个公式就是损失函数HMSE,也就是MSE均方误差函数的一半(把2去了就是MSE)。

minimize\left \{ \frac{1}{2m}\sum_{i=1}^{m}\left ( y'_{i}-y_{i} \right )^{2} \right \} 

公式有了,接下来我们需要将a和b代入进公式,也就是求下面的J:

J=\frac{1}{2m}\sum_{i=1}^{m}\left ( ax_{i}+b-y_{i} \right )^{2} =g(a,b)

梯度下降法

通过向函数上当前点对应梯度(或者近似梯度)的反方向规定步长距离点进行迭代搜索,直到在极小点收敛。

spark-29.spark机器学习_2_线性回归 线性回归是利用被称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或者多个被称为回归系数的模型参数的线性组合。 1.一元线性回归 找到一条直线能够最大程度上拟合二维空间中出现的点。 2.多元线性回归 如果自变量多余1个,那么就要求一个多元函数去拟合空间中的点。 二元线性回归: n元线性回归: 要求什么? 要求使得所有点到这条线的误差最小。 误差最小化: 要求参数θ的最优解,使得所有点到这条线的误差最小。 如果将y表示样本的真实值,h_θ (x)表示 阅读详情

相关推荐

一元(多元)线性回归分析之Python语言实现

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴趣的同学加微信:tsaiedu,并注明消息来源,邀请你进入数据爱好者交流群,数据爱好者们都在这儿。 618狂欢,天善学院全场课程6.18折等你来! 投资知识,赋能自...

简书博客搬家测试账号 6569

机器算法之回归分析

文章目录前言一、KNN(K-Nearest Neighbor)二、使用步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、KNN(K-Nearest Neighbor) K这个字母的含义就是要选取的最邻近样本实例的个数,在 scikit-learn 中 KNN算法的 K 值是通过 n_neighbors

weixin_44209550的博客 2085

第L2周:ML|线性回归模型

如果你只使用一个特征来预测另一个特征,那么这种情况下模型是可以工作的,但通常这不是机器学习中的标准做法,因为模型将无法从多个特征中学习。这里我们采用“学习时长-成绩”数据集,采用LinearRegression简单线形回归模型,通过学习时长去预测学生成绩。(3) fit 的作用:找到最佳的线性关系,即最佳拟合线,来描述。(2) 这段代码初始化了一个线性回归模型,并使用训练数据集。对象可以用来对新的特征数据进行预测,以估计目标变量的值。

qq_40879041的博客 930

单变量线性回归原理与python实现

机器学习 第一章:机器学习基础 第二章:线性回归 第三章:逻辑回归 第四章:BP 神经网络 第五章:卷积神经网络 第六章:循环神经网络 第七章:决策树与随机森林 第八章:支持向量机 第九章:隐马尔科夫 第十章:聚类等算法 ... 单变量线性回归原理与python实现机器学习前言一、基础概念1.1 线性回归1.1.1 单变量线性回归二、单变量线性回归练习2.1 吴恩达单变量线性回归作业2.2 房价预测三、总结 github地址 前言 机器学习是从人工智能中产生的一个重要学科分支,是实现智能化的关键

CltCj的博客 2994

机器学习入门线性回归

感知机等早期人工智能模型采取仿生学的方法模拟生物智能机制,人们在开展这些早期研究的时候,并没有从统计学角度去深究它们的数学本质。与此同时,甚至在更早时候,统计学家已经在使用一些函数拟合或者参数估计的方法,来描述观测数据的概率分布,或者定量描述不同观测量之间的函数关系。人们假设数据符合某种分布,或者数据之间存在某种定量函数关系,通过观察数据推测概率分布或者函数关系的参数。这些方法与人工智能中的很多方法有着密切的联系,它们背后的数学原理是一致的。

m0_53294028的博客 1221

线性回归原理与python实现

机器学习 第一章:机器学习基础 第二章:线性回归 第三章:逻辑回归 第四章:BP 神经网络 第五章:卷积神经网络 第六章:循环神经网络 第七章:决策树与随机森林 第八章:支持向量机 第九章:隐马尔科夫 第十章:聚类等算法 ... 线性回归机器学习前言一、基础概念1.1 线性回归1.1.1 单变量线性回归1.1.2 多变量线性回归二、单变量线性回归练习2.1 吴恩达单变量线性回归作业2.2 房价预测三、多变量线性回归练习3.1 吴恩达多变量线性回归练习(版本一)3.2 吴恩达多变量线性回归练习(版本二)总

CltCj的博客 3085

机器学习100天】简单线性回归 | 第2天

第二天:简单线性回归 下面是完整的代码: # Step 1: Data Preprocessing 数据预处理 import pandas as pd import numpy as np import matplotlib.pyplot as plt dataset = pd.read_csv('C:\\Users\\Amanda\\Desktop\\python\\ML-Learning\\datasets\\studentscores.csv') X = dataset.iloc[:,:1].valu

猾枭的博客 357

线性回归(1)】一元线性回归

1 原理说明 回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。 1.1 目标: 给定一系列数据x(i)和y(i),x是自变量,y是因变量,用公式y=ax+b去拟合,求出参数a和b。给定一系列数据x^{(i)}和y^{(i)},x是自变量,y是因变量,用公式y = ax + b去拟合,求出参数a和b。给定一系列数据x(i)和y(i),x是自变量,y是因

Vici__ 2795

回归分析的可解释性与模型解释

1.背景介绍 回归分析是一种常用的统计方法,用于研究多个自变量对因变量的影响。在机器学习人工智能领域,回归分析也是一种常用的方法,用于预测和分析数据。然而,回归分析的可解释性和模型解释对于实际应用具有重要意义,因为它们可以帮助我们更好地理解数据之间的关系,并为决策提供支持。 在本文中,我们将讨论回归分析的可解释性和模型解释的核心概念,以及如何使用回归分析来解释数据。我们将讨论回归分析的核心算...

AI天才研究院 1171

基于jupyter notebook的python编程-----运用sklearn库,导入文件数据模拟多元线性回归分析

基于jupyter notebook的python编程-----运用sklearn库,导入文件数据模拟多元线性回归分析的目录一、运行jupyter notebook,搭建python环境1、打开Windows终端命令行,输入==jupyter notebook==,打开我们的jupyter工具,如下所示:2、在jupyter的web网页中创建python文件,如下所示:3、现在就可以在jupyte...

qq_42451251的博客 4981

【AI】机器学习——线性回归模型

线性模型概念 线性回归模型,回归模型损失函数,梯度下降法分析,最小二乘法分析,多角度理解最小二乘法 回归方程衡量标准:拟合优度,判定系数 显著性检验:线性关系检验,回归系数检验 利用回归直线进行预测,置信区间估计 多元回归问题:多重共线性,过拟合问题,岭回归,LASSO回归

努力,奋斗! 1225

线性回归

线性回归 1.基本形式 线性回归(Linear Regression)是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系...

weixin_30436101的博客 113

多变量线性回归python实现

机器学习 第一章:机器学习基础 第二章:线性回归 第三章:逻辑回归 第四章:BP 神经网络 第五章:卷积神经网络 第六章:循环神经网络 第七章:决策树与随机森林 第八章:支持向量机 第九章:隐马尔科夫 第十章:聚类等算法 ... 多变量线性回归python实现机器学习前言一、多变量线性回归?3.1 吴恩达多变量线性回归练习3.1.1 版本一3.1.2 版本二3.2 股票预测总结 github地址 前言 机器学习是从人工智能中产生的一个重要学科分支,是实现智能化的关键 一、多变量线性回归? 前面我

CltCj的博客 7105

人工智能金融:如何改变金融教育的未来

1.背景介绍 随着人工智能(AI)技术的不断发展和进步,金融领域也不得不跟随其中。金融教育在这个过程中发挥着至关重要的作用,因为它为金融行业的人员提供了必要的知识和技能。然而,传统的金融教育方法已经不能满足当前的需求,这就是人工智能金融的诞生。 人工智能金融是一种新兴的学科,它结合了金融学和人工智能技术,为金融行业提供了更高效、更准确的决策支持。这种方法可以帮助金融学家更好地理解市场趋势,预测...

AI天才研究院 733

人工智能必备数学知识· 学习笔记 ·001【线性回归,最小二乘法&梯度下降法】

注:笔记 来自课程 人工智能必备数学知识 Tips①:只是记录从这个课程学到的东西,不是推广、没有安利 Tips②:本笔记主要目的是为了方便自己遗忘查阅,或过于冗长、或有所缺省、或杂乱无章,见谅 Tips③:本笔记使用markdown编写,相关缩进为了方便使用了LaTeX公式的\qquad,复制粘贴请注意 文章目录一、线性回归1、回归 一、线性回归 1、回归 定义: \qquad根据已有的数据,建立因变量Y与自变量X的函数关系的模型: y=f(x1,x2,⋯ ,xn)y = f(x_1, x_2, \cdo

God-Excious的博客 569

人工智能与环保:如何协同发展

1.背景介绍 人工智能(Artificial Intelligence, AI)和环保(Environmental Protection)是两个相对独立的领域,但它们之间存在着密切的联系和互动。随着人工智能技术的发展,人们越来越关注于如何将人工智能技术应用于环保领域,以解决环境问题和提高资源利用效率。在这篇文章中,我们将探讨人工智能与环保之间的关系,以及如何将人工智能技术与环保领域相结合,共同推...

AI天才研究院 1282

python 多重线性回归_python线性回归

一个简单的线性回归模型测试。定义:线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。表达形式为y =aX+b,b为误差服从均值为0的正态分布,a为截距。回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线...

weixin_31787547的博客 299

人工智能基础课08机器学习-简约而不简单:线性回归

更重要的是,在过拟合的情形下,微小扰动给训练数据带来的毫厘之差可能会导致训练出的模型谬以千里,模型的稳定性也就无法保证。”,即大自然将人类身高的分布约束在相对稳定而不产生两极分化的整体水平,并给出了历史上第一个线性回归的表达式:y = 0.516x + 33.73,式中的y和x分别代表以英寸为单位的子代和父代的身高。对这个现象的一种解释是回归结果可以完美匹配理想样本点的分布,但训练中使用的真实样本点是理想样本点和噪声叠加的结果,因而与回归模型之间产生了偏差,而每个样本点上噪声的取值就等于。

fegus的博客 201
上一篇: 人工智能入门3.2 在Jupyter Notebook中进行简单的Numpy应用
栖风者
博客等级 码龄5年 28粉丝 · 5原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值