吴恩达机器学习（十）支持向量机（SVM）

最新推荐文章于 2024-03-18 12:20:37 发布

原创

最新推荐文章于 2024-03-18 12:20:37 发布 · 989 阅读

本文是作者学习吴恩达机器学习课程支持向量机的内容总结，涵盖了SVM的基本概念、代价函数、高斯核函数以及在多分类和逻辑回归选择中的应用。SVM通过建立最大间隔超平面进行分类，并利用高斯核函数处理非线性问题。文章还探讨了SVM与逻辑回归在不同数据特性下的适用场景。

0. 前言

支持向量机SVM（Support Vector Machine）可以用于分类和回归。SVM将向量映射到高维空间中，在空间中建立一个最大间隔的超平面，这个超平面两边建有两个相互平行的分开数据的超平面，使得其与中间的超平面距离最大化。

1. 代价函数（Cost Function）

在逻辑回归中，代价函数为 $J(\theta)= -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log(h_{\theta}(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta_{j}^{2}$ ，其中 $y=1\ y=0$ 的代价函数如下所示：

如果对其进行修改，SVM的代价函数如下定义：

$\large \begin{align*} J(\theta)= C\sum_{i=1}^{m}[y^{(i)}Cost_{1}(\theta^{T}x^{(i)})+(1-y^{(i)})Cost_{0}(\theta^{T}x^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta_{j}^{2} \end{align*}$