机器学习--（SVM）支持向量机

最新推荐文章于 2026-05-06 00:01:00 发布
原创 最新推荐文章于 2026-05-06 00:01:00 发布 · 1.4k 阅读 · 21
标签
#支持向量机 #机器学习 #算法

目录

一、支持向量机

1.1定义

1.2支持向量机类分类

二、基本概念 

2.1线性可分

2.2分割超平面

2.3超平面

2.4点相对于分割面的间隔

2.5间隔

2.6支持向量

三、最大间隔 

3.1 分隔超平面

3.2 如何决定最好的参数

3.3 正则化与软间隔

四、SVM算法实现

4.1分类器实现

4.2结果可视化

4.3 数据准备和模型训练

4.4 运行结果图

4.5  调整参数C优化分类结果

4.6 调整C值的实验结果图

4.7 实验整体代码

五、总结

5.1 SVM的优缺点

5.2  实验小结

一、支持向量机

1.1定义

支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化。SVM的目标就是要找到这个超平面。

支持向量机思想直观，但细节复杂，涵盖凸优化，核函数，拉格朗日算子等理论。

1.2支持向量机类分类

二、基本概念 

2.1线性可分

对于一个数据集合可以画一条直线将两组数据点分开，这样的数据称为线性可分（linearly separable）。如下图所示：

2.2分割超平面

将上述数据集分隔开来的直线成为分隔超平面。对于二维平面来说，分隔超平面就是一条直线。 

2.3超平面

对于三维及三维以上的数据来说，分隔数据的是个平面，称为超平面，也就是分类的决策边界。 

2.4点相对于分割面的间隔

点到分割面的距离，称为点相对于分割面的间隔。

2.5间隔

数据集所有点到分隔面的最小间隔的2倍，称为分类器或数据集的间隔。论文中提到的间隔多指这个间隔。SVM分类器就是要找最大的数据集间隔。 

2.6支持向量

离分隔超平面最近的那些点。

三、最大间隔 

支持向量机的核心思想： 最大间隔化， 最不受到噪声的干扰。

3.1 分隔超平面

二维空间一条直线的方程为，y=ax+b，推广到n维空间，就变成了超平面方程，即f(x)=w^{T}x+b，其中w是权重，b是截距，训练数据就是训练得到权重和截距。

3.2 如何决定最好的参数

如下图所示，分类器A比分类器B的间隔（蓝色阴影）大。

SVM划分的超平面：f(x) = 0，w为法向量，决定超平面方向，
假设超平面将样本正确划分
　　f(x) ≥ 1，y = +1
　　f(x) ≤ −1，y = −1
间隔：d=2/|w| 

上式就是求解最大间隔超平面的表达式。

3.3 正则化与软间隔

针对样本不是完全能够划分开的情况，可以允许支持向量机在一些样本上出错，为此要引入“软间隔”的概念。

引入正则化强度参数C（正则化：在一定程度上抑制过拟合，使模型获得抗噪声能力，提升模型对未知样本的预测性能的手段），损失函数重新定义为：

上式为采用hinge损失的形式，再引入松弛变量

最低0.47元/天 解锁文章
机器学习——支持向量机
m0_54703897的博客
12-17 4774
SVM
【机器学习】支持向量机(Support Vector Machine)
m0_63919802的博客
12-18 2094
支持向量机（Support Vector Machine，SVM）是一种用于分类和回归的监督学习算法。SVM的目标是找到一个最优边界，将不同类别的数据点分开。在SVM中，我们把数据点看做是n维空间中的点，每个点有n个特征。：在SVM中，我们通过找到一个超平面（或者说是一个线性决策边界），将不同类别的数据点分开。决策边界可以是直线、曲线或者高维空间中的超平面等形式。：支持向量是离决策边界最近的样本点，它们对于决策边界的位置起着关键作用。SVM算法的核心思想就是寻找最优的决策边界和支持向量。
ML：支持向量机的基本原理与实现
最新发布
qq_41176800的博客
05-06 642
有一类方法的关注点更集中：它试图找到一个能够把不同类别尽量分开的边界，并且希望这个边界不仅能分开训练样本，还能对新样本保持较好的泛化能力。如果先看最简单的二分类情形，假设两类样本在特征空间中可以被一条直线、一个平面或更高维超平面分开，那么支持向量机不会只满足于“把它们分开”，而是进一步要求：在所有可分开的边界中，选择那个间隔最大的边界。而远离边界的样本，即使略有移动，对边界影响也往往不大。支持向量机与一般线性分类器的关键区别，不在于“是否有一个线性边界”，而在于它追求的是最大间隔分类。
机器学习—支持向量机（SVM）
Kongxianghao666的博客
06-11 1822
支持向量机（Support Vector Machine，简称SVM）是一种监督学习算法，用于数据分类和回归分析。其目标是找到一个最优的超平面，将数据集划分成不同的类别。在这个过程中，SVM关注的是距离超平面最近的一些数据点，这些数据点被称为支持向量。支持向量机（Support Vector Machine，SVM）是一种强大的监督学习算法，用于分类和回归分析。它是由Vapnik和Cortes于1995年提出的，是一种基于统计学习理论的模式识别方法。
支持向量机通俗导论（理解SVM的三层境界）
深耕汽车电子：AUTOSAR、电机控制，助力数字汽车
11-11 4029
            支持向量机通俗导论（理解SVM的三层境界） 作者：July 。致谢：pluskid、白石、JerryLead。 说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。 声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考...
机器学习 —— 支持向量机
DreamWendy的博客
12-31 1万+
一、基于最大间隔分隔数据 1.1 线性模型 1.2 超平面 1.3 支持向量 1.4 支持向量机 二、寻找最大间隔 三、拉格朗日乘子法与对偶问题 3.1对偶问题：等式约束 3.2不等式约束的KKT条件 3.3最大间隔问题的拉格朗日乘法 四、SMO算法 4.1 小规模数据集 4.2 应用简化版 SMO 算法处理小规模数据集 4.3、利用完整Platt SMO算法加速优化 五、示例：基于SVM的手写数字识别 5.1 数据集 5.2 算法实现 六、实验总结
Stanford机器学习---第八讲. 支持向量机SVM
Rachel Zhang的专栏
08-12 13万+
本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning中A
SVM 支持向量机算法（Support Vector Machine ）【Python机器学习系列（十四）】
侯小啾技术博客
09-11 4477
SVM 支持向量机算法（Support Vector Machine ）【Python机器学习系列（十四）】 1.SVM简介2. SVM 逻辑推导2.1 Part1 化简限制条件2.2 Part2 SVM拉格朗日乘子法求解2.3 Part3 求解超平面3.核函数4. 软间隔支持向量机5. 支持向量回归 SVR6.python实现支持向量机6.1 方法详解6.2 案例展示...
【机器学习】机器学习之SVM支持向量机
朝花夕拾
11-18 2万+
本次实验聚焦支持向量机（SVM）算法在鸢尾花数据集上的分类任务，特别关注加入和未加入松弛因子的分类效果。通过深入了解SVM的原理和参数设置，我首先训练了一个未加入松弛因子的模型，然后引入了松弛因子，以探索其对分类结果的影响。松弛因子允许样本存在于超平面错误的一侧，增加了模型的容错能力，使其对噪声或异常值更具鲁棒性。
机器学习之支持向量机（svm）
weixin_73582856的博客
05-29 1742
数据预处理：包括特征提取、特征标准化以及数据集的分割。使用支持向量机进行分类：支持向量机是一种强大的分类算法，可以用于解决各种类型的分类问题。用户输入功能：通过与用户交互，实现了从用户处获取数据并进行预测的功能。数据预处理：确保数据的质量和一致性，以及选择合适的特征标准化方法。模型训练：调整支持向量机的参数以获得最佳性能。用户输入：需要处理用户可能输入的各种类型和范围的数据，并进行适当的预处理。适用于高维空间：支持向量机在高维空间中表现出色，适用于处理特征维度较高的数据集。
【机器学习算法】支持向量机（support Vector Machine，SVM）
qq1021091799qq的博客
07-29 3129
支持向量机SVM概述，核函数特征转换处理非线性问题，多分类SVM问题
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 4万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
什么是支持向量机【SVM，详细理论推导】
v20000727的博客
12-21 1万+
支持向量机(support vector machines, SVM)是一种二分类模型。本文详细介绍线性可分支持向量机和线性支持向量机的原理、算法推导，同时有不少图帮助理解。
支持向量机（SVM）
星辰的博客
01-17 3万+
算法简介 支持向量机(SVM)是种二类分类模型。 它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机:支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机学习方法包含构建由简至繁的模型:线性可分支持向量机、线性支持向量机以及非线性支持向量机。简单模型是复杂模型的基础，也是复杂模型的特殊情况。当训练数据线
机器学习：支持向量机（SVM）
热门推荐
燕双嘤
11-06 20万+
支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。
机器学习算法（二）---支持向量机SVM
u012121721的博客
08-06 4178
支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题求解。 非线性问题：SVM的处理方法是选择一个核函数，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。 ...
支持向量机（SVM算法）
lili_lak的博客
06-11 7163
支持向量机（SVM, support Vector Machines）：二分类算法模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机用于解决模式识别领域中的数据分类问题，属于有监督学习算法。支持向量机可以分为线性核非线性两大类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值