KNN实现简单的数组分类（python实现）

最新推荐文章于 2026-04-25 11:43:23 发布

原创最新推荐文章于 2026-04-25 11:43:23 发布 · 1.6k 阅读

8 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#KNN #KNN的python实现

K-近邻算法（KNN）是一种基于距离度量的分类方法，它通过找到测试对象与训练集中最近的K个邻居来决定分类。本文介绍了KNN的基本思想和优势，并通过一个例子解释了KNN如何根据K值选择类别。接着，文章提供了用Python实现KNN进行数组分类的代码示例，包括数据集、标签和测试数据。

一 . K-近邻算法（KNN）概述

最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。

KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

由此也说明了KNN算法的结果很大程度取决于K的选择。

在KNN中，通过计算对象间距离来作为各个对象之间的非相似性指标，避免了对象之间的匹配问题，在这里距离一般使用曼哈顿距离（L1）或欧氏距离（L2）：

同时，KNN通过依据k个对象中占优的类别进行决策，而不是单一的对象类别决策。这两点就是KNN算法的优势。

接下来对KNN算法的思想总结一下：就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：

1）计算测试数据与各个训练数据之间的距离；

2）按照距离的递增关系进行排序；

3）选取距离最小的K个点；

4）确定前K个点所在类别的出现频率；

5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

二、用python实现数组分类

已知：

1.数据集：group=np.array([[1,2],[1.2,0.1],[0.1,1.4],[0.3,0.5]])

2.标签：labels=['A','A','B','B']

测试：input=np.array([2,2.6])

KNN分类器模块代码

# -*- coding: utf-8 -*-
"""
Created on Fri Nov  2 10:47:32 2018

@author: DDDD
"""

import numpy as np

#通过KNN进行分类
def classify(input,dataSet,labels,k):
    dataSize=dataSet.shape[0]  #给出训练数据的个数group.shape=（4,2）
    
    ##计算欧式距离
    diff=np.tile(input,(dataSize,1))-dataSet
    squarediff=diff**2
    squareDist=np.sum(squarediff,axis=1)
    dist=squareDist**0.5
    
    #对距离进行排序
    sortedDistIndex=np.argsort(dist) #argsort()根据元素的值从小到大进行排序，返回索引
    classCount={}
    for i in range(k):
        voteLabel=labels[sortedDistIndex[i]]
        classCount[voteLabel]=classCount.get(voteLabel,0)+1
    
    ##选出出现次数最多的类别
    maxCount=0
    for key,value in classCount.items():
        if value>maxCount:
            maxCount=value
            testClass=key
    return testClass

主函数代码

# -*- coding: utf-8 -*-
"""
Created on Fri Nov  2 21:21:42 2018

@author: DDDD
"""

import knn_simple
import numpy as np

#给出训练数据以及对应的类别
def createDataSet():
    group=np.array([[1,2],[1.2,0.1],[0.1,1.4],[0.3,0.5]])
    labels=['A','A','B','B']
    return group,labels

input=np.array([2,2.6])
k=3
dataSet,labels=createDataSet()
output=knn_simple.classify(input,dataSet,labels,k)
print('测试数据',input,'的类别为:',output)

最后的输出结果