机器学习之KNN算法

关注

最新推荐文章于 2024-11-29 19:10:24 发布 · 640 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

ML-kNN 多标签k近邻算法 MLL Week 1 ML-kNN 多标签k近邻算法 MLL Week 1ML-kNN 多标签k近邻算法 MLL Week 1 传统kNN 多标签kNN 学习张敏灵老师的《ML-kNN: a lazy learning approach to multi-label learning》的学习笔记。传统kNN k近邻算法(k-Nearest Neighbour, KNN)是机器学习中最基础，最简单的常用算法之一。其思想阅读详情

KNN 算法，或者称 k最邻近算法，是有监督学习中的分类算法。它可以用于分类或回归问题，但它通常用作分类算法。

一、KNN算法的原理：

找到K个与新数据最近的样本，取样本中最多的一个类别作为新数据的类别。

二、算法思想：

对于任意n维输入向量，分别对应于特征空间中的一个点，输出为该特征向量所对应的类别标签或预测值。

三、K值的选择

KNN算法中，K值的选择直接影响到最终模型的效果，K越小越容易过拟合，K越大越容易欠拟合，另外在选取时最好选取奇数，防止出现随机选择的情况。

此处扩展过拟合与欠拟合的概念：
欠拟合：模型在训练集上无法获取足够的筛选条件，也就是说没法学习到数据背后的规律

过拟合：模型在训练集和测试集上表现差距过大，只能呆板识别数据集固定特征，泛化能力差。

四、算法的优缺点：

优点

1.简单易实现

2.对于边界不规则的数据效果较好

缺点：

1.只适合小数据集。预测新数据需要使用全部数据集，耗费时间和算力

2.数据不平衡效果不好。

3.必须要做数据标准化。

4.不适合特征维度过多的数据。

五、鸢尾花数据集KNN算法演示

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import numpy as np


# 读取鸢尾花数据 load_iris()鸢尾花数据集
data = load_iris()
x = data['data']
y = data['target']
# 划分训练集和数据集 test_size表示测试集的大小按比例划分
# array是列表，数组，矩阵或是pandas数据框
# random_state随机数的种子若为none生成的数据随机，为整数每次生成的数据都相同
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)

# 模型训练
# KNeighborsClassifier()是sklearn中的KNN算法函数，n_neighbors代表K值
model = KNeighborsClassifier(n_neighbors=3)
# model.fit()将训练数据在模型中训练一定次数
# 返回一个History的对象，即记录了loss和其他指标的数值随epoch变化的情况
model.fit(x_train, y_train)

# #模型预测,输入测试集,输出预测结果
y_pred = model.predict(x_test)

# 模型评估
# 统计数组中非零元素的个数，计算预测正确率
correct_pred = np.count_nonzero(y_pred == y_test)
accuracy = correct_pred / len(y_test)
print("准确率为：" + str(accuracy))