机器学习：逻辑回归与K折交叉验证

最新推荐文章于 2026-06-10 09:41:41 发布
原创 最新推荐文章于 2026-06-10 09:41:41 发布 · 6.7k 阅读 · 40
标签
#Python #机器学习 #逻辑回归 #K折交叉验证 #网格搜索优化逻辑回归
这篇博客介绍了逻辑回归在二分类问题中的应用，强调了决策边界的设定。通过熵和交叉熵的概念，详细解释了逻辑回归的损失函数。此外，文章还探讨了梯度下降法，并引入K折交叉验证作为评估模型性能的指标。最后，提供了代码实现来辅助理解。

文章目录


线性回归：预测一个连续的值

逻辑回归：预测一个离散的值

逻辑回归的引入

在这里插入图片描述
在这里插入图片描述
当我们要做二分类的时候，我们一般只希望得到两个值 y = 0 或 1
但是， 线性回归得到的值是在一个范围内的连续值，而且可能远 > 1 或远 < 0
这样会给分类带来困难，我们希望的值域：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

决策边界

在这里插入图片描述
在这里插入图片描述

逻辑回归的损失函数

线性回归的做法是：损失函数
在这里插入图片描述
那么逻辑回归的损失函数怎么确定呢？

熵的引入

熵的意义：

热力学上： 熵是一种测量分子不稳定的指标，分子运动越不稳定，熵就越大
信息论（香农）： 熵是一种测量信息量的单位，信息熵，包含的信息越多，熵就越大。
机器学习: 熵是一种测量不确定性的单位，不确定性越大，概率越小，熵就越大！

信息量：
事件A：德国队进入了2018世界杯决赛圈
事件B：中国队进入了2018世界杯决赛圈

越不可能的事件发生了，我们获取到的信息量

最低0.47元/天 解锁文章
逻辑回归L2正则化预测模型
11-06
该代码是主要基于tensorflow框架下的逻辑回归模型，使用经典的梯度下降算法来最小化误差，加了L2正则化以减小过拟合。主要是针对没有测试集的数据，利用五折交叉验证并重复十次来计算AUC值，以评估模型。
Spark ml pipline交叉验证之逻辑回归.docx
09-03
Spark ml pipline交叉验证之逻辑回归 模型训练 输入参数 训练代码 模型评估 输入参数 评估代码
交叉验证(cross validation)原理和方法说明以及scikit-learn代码实现。
fengzhimohan的博客
06-26 9793
交叉验证(cross validation) 1.定义： 用来验证分类器的性能一种统计分析方法，基本思想是把在某种意义下将原始数据(data set)进行分组，一部分做为训练集(training set)，另一部分做为验证集(validation set)，首先用训练集对分类器进行训练，在利用验证集来测试训练得到的模型(model)，以此来做为评价分类器的性能指标。 2.作用： 针对在训练集上训练...
逻辑回归交叉验证法(LogisticRegressionCV)参数介绍
weixin_41690708的博客
07-09 1万+
classsklearn.linear_model.LogisticRegressionCV(Cs=10,fit_intercept=True,cv=’warn’,dual=False,penalty=’l2’,scoring=None,solver=’lbfgs’,tol=0.0001,max_iter=100,class_weight=None,n_jobs=None,...
逻辑回归C参数选择，利用交叉验证实现
纸上得来终觉浅
08-19 2223
逻辑回归C参数选择，利用交叉验证实现
NLP学习笔记22-逻辑回归3：模型复杂度、过拟合、交叉验证
bohu83的博客
02-19 1770
一 序 本文属于贪心NLP训练营学习笔记，接着上一篇NLP学习笔记21-逻辑回归2：决策边界，目标函数,凸函数，梯度下降。 二当数据是线性可分 When Data is Linearly Separable，上节课老师留的问题 考虑以下情况，当数据是线性可分的时候，参数w为什么会趋向无穷大？以二分类为例。 这样的两堆点，可能有很多条线能区分，在线性回归的情况下哪条线能更好。 ，对于逻辑回归来说，就是期望概率越大越好。 对于正样本趋向于1，负样本趋向于0. 对于p(y...
使用交叉验证去验证逻辑回归
古月哲亭
04-01 1798
import pandas as pd Data=pd.read_csv ('C:\\Dataset.csv',index_col='SNo') feature_cols=['A','B','C','D','E'] X=Data[feature_cols] Y=Data['Status'] Y1=Data['Status1'] # predictions from elsewhere Y2=Data['Status2'] # predictions from elsewhere from skle
机器学习——K 折交叉验证（K-Fold Cross Validation），案例：逻辑回归 交叉寻找最佳惩罚因子C
2302_78022640的博客
08-02 1551
交叉验证是一种将原始数据集划分为若干个子集，反复训练和验证模型的策略。交叉验证（Cross-Validation）适用于你在模型调参（如逻辑回归中的C。
python-ml-course模型评估：交叉验证与ROC曲线详解
最新发布
gitblog_00754的博客
06-10 427
GitHub 加速计划 / py / python-ml-course 是一个面向机器学习初学者的 Python 入门课程项目，通过丰富的实例和代码帮助学习者掌握机器学习的核心概念和实践技能。在机器学习项目中，模型评估是确保模型性能和可靠性的关键步骤，其中交叉验证和 ROC 曲线是两种常用的评估方法。 ## 什么是交叉验证？ 交叉验证是一种统计方法，用于评估机器学习模型在独立数据集上的性能。它
【逻辑回归】：从模型训练到评价
m0_73902570的博客
02-02 980
线性回归的核心是在N维空间中寻找线性函数（如y=kx+b）拟合连续型标签数据，其输出是无限区间的连续值。，从而将连续值转换为概率，实现分类任务。
用Python玩转鸢尾花分类：从sklearn.datasets到KNN实战（附完整代码）
weixin_28285943的博客
03-05 89
本文通过Python和scikit-learn库，手把手教你完成经典的鸢尾花分类项目。从加载`load_iris`数据集、数据探索与预处理，到使用KNN算法构建分类器并进行模型调优，最后通过可视化决策边界深入理解模型原理。文章提供了完整的代码实战，是机器学习入门和KNN算法学习的绝佳指南。
【机器学习】k-fold cross validation（k-折叠交叉验证）
热门推荐
evillist的博客
03-13 4万+
k-折叠交叉验证就是将训练集的1/k作为测试集，每个模型训练k次，测试k次，错误率为k次的平均，然后平均率最小的模型Mi。
【机器学习】详解交叉验证&具体代码实现
weixin_57084877的博客
10-25 5789
简单的机器学习交叉验证
一文讲透Python机器学习中的K折交叉验证法
m0_72274883的博客
12-04 4927
K折交叉验证是针对验证集法的另外一种改进方式，也广泛用于机器学习实践。具体的操作方式就是首先把样本全集采用分层抽样的方式随机划分为大致相等的K个子集，每个子集包含约1/K的样本，K的取值通常为5或者10，其中10最为常见。然后，每次都把K-1个子集的并集，也就是约（K-1）/K的样本作为训练集，把1/K的样本作为测试集，基于训练集训练获得模型，基于测试集进行评价，计算测试集的均方误差。最后，将K次获得的K个验证集的均方误差进行平均，即为对测试误差的估计结果。
K折交叉验证
闲庭信步
04-25 294
K折交叉验证可以防止过拟合。
深入解析K折交叉验证：原理、应用及优化策略(python实现 代码详解)
2301_81199775的博客
04-21 2万+
本文深度解析K折交叉验证这一重要机器学习工具，从理论概念出发，全面阐述其在提升模型泛化能力、模型性能评估与超参数优选等方面的关键作用。尤其聚焦于如何在K折交叉验证执行过程中记录并精准定位那些对应最高模型得分的训练集与测试集划分情况。结合Python实例，展示如何在模型间性能比较、超参数调整以及寻找最佳训练验证集划分策略上运用此方法，以期实现数据资源的最优化利用和模型性能的持续提升。
python小白之路：第十五章 线性回归模型-K折交叉验证
Gnos96的博客
10-14 3964
K-fold Cross Validation K折交叉验证 1.思路 假设有n个观测值，即训练集数据为n，将其均分为K组。其中，K-1组子集作为训练集来训练模型，用剩余的那一组子集作为验证集来计算预测误差。重复以上过程，直到每个子集都做过一次验证集，即得到了K次的预测误差。将K次的预测误差取平均得到一个交叉验证误差，用K个模型最终的验证集的分类准确率的平均数作为此次K-CV下分类器的性能指标。 2.目的 2.1 拟合(fitting) 我们希望能够把数据点用光滑曲线连接起来，找到合适的函数表示曲线。 2.
机器学习案例实战第二课-欺诈检测
04-18
购买课程后，添加小助手微信（微信号：csdn500）回复【唐宇迪】进入学习群，获取唐宇迪老师社群答疑使用Python数据分析流行的库Numpy,Pandas,Matplotlib, Scikit-learn结合真实数据集展开可视化特征分析与机器学习建模和评估。每次课程涉及一个完整的案例，基于案例讲解python库的使用以及如何建立机器学习模型，对涉及到的机器学习算法给出通俗易懂的解释，帮助大家掌握经典机器学习算法，并应用在实际的案例中。
寻找最优模型---K折交叉验证
weixin_42660173的博客
09-08 1万+
目录 1.概览 2.代码 1.概览 当我们要从多个模型中快速选择一个较为合适的模型时，也可以把数据依次放到每个模型中去测试，找到泛化能力较强的那一个。虽然这是一个「笨」办法，但在实验流程上也有一些取巧的步骤。其中之一，就是今天要介绍的 K 折交叉验证（k-fold cross-validation）。 其通过将数据集均分成 K 个子集，并依次将其中的 K-1 个子集作为训练集，剩下的 1...
学习笔记（七）模型的调参之网格搜索和交叉验证的简单应用
zhangyunpeng0922的博客
11-24 5303
学习笔记（七）模型的调参之网格搜索和交叉验证的简单应用数据概述交叉验证1. Cross——Validation 交叉验证2. k折交叉验证（kfold）3.留一法Leave-one-out Cross-validation4.Shuffle-split cross-validation网格搜索1.逻辑回归的网格搜索2. 决策树的网格搜索3. svm的网格搜索4.XGboost的网格搜索5.ligh...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值