模糊c–均值聚类算法的原理解释及推导

模糊𝑐–均值聚类算法的原理解释及推导

前置知识：𝑘–均值聚类的缺陷

• 算法要求每个样本数据点在一次迭代过程中只能被划分到某个特定的簇中。
• 样本数据并非都满足这种非此即彼的刚性划分。

在k-均值聚类存在缺陷的情况下，我们提出了模糊c-均值聚类算法。

核心部分：模糊𝑐–均值聚类

基本思想：

• 使用模糊数学中属于[0,1]区间的隶属度指的是度量单个样本隶属于各个簇的程度。
• 规定每个样本到所有簇的隶属度之和均为1，若某个样本到某个簇的隶属度为1，则表示该样本完全隶属于该簇。

原理推导：

• 如图所示：

  

• 给定示例样本数据集𝐷 = {𝑋₁, 𝑋₂, … , 𝑋_𝑛}，假设对数据集𝐷进行模糊聚类得到𝑐个簇𝐶₁, 𝐶₂, … , 𝐶_𝑐，𝐷中任意给定单个样本𝑋_𝑖对于第𝑗个簇𝐶_𝑗的隶属度为𝛼_𝑖𝑗，则可使用如下加权欧式距离𝑤_𝑖𝑗度量样本𝑋_𝑖与簇𝐶_𝑗之间的相关性：
  $${\mathbf{w}}_{\mathbf{i}\mathbf{j}}={\alpha }_{\mathbf{i}\mathbf{j}}{\left(\sum _{\mathbf{t}=1}^{\mathbf{m}}{\left({\mathbf{x}}_{\mathbf{i}\mathbf{t}}-{\mathbf{u}}_{\mathbf{j}\mathbf{t}}\right)}^2\right)}^{\frac{1}{2}}$$
  其中𝑢_𝑗𝑡表示第𝑗个簇𝐶_𝑗的聚类中心𝑈_𝑗第𝑡个坐标分量。

• 依据上述加权欧式距离𝑤_𝑖𝑗计算公式可得所有簇内加权距离之和为：
  $$\mathbf{d}\left({\alpha }_{\mathbf{i}\mathbf{j}}\right)=\sum _{\mathbf{j}=1}^{\mathbf{c}}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}\mathbf{j}}{\left(\sum _{\mathbf{t}=1}^{\mathbf{m}}{\left({\mathbf{x}}_{\mathbf{i}\mathbf{t}}-{\mathbf{u}}_{\mathbf{j}\mathbf{t}}\right)}^2\right)}^{\frac{1}{2}}$$

• 为控制隶属度对聚类最终效果的影响并简化计算，可将上述加权距离之和𝑑(𝛼_𝑖𝑗)改写为如下形式：
  $$\mathbf{J}\left({\alpha }_{\mathbf{i}\mathbf{j}}\right)=\sum _{\mathbf{j}=1}^{\mathbf{c}}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}\mathbf{j}}^{\mathbf{p}}\sum _{\mathbf{t}=1}^{\mathbf{m}}{\left({\mathbf{x}}_{\mathbf{i}\mathbf{t}}-{\mathbf{u}}_{\mathbf{j}\mathbf{t}}\right)}^2$$
  其中𝑝为控制隶属度影响的参数，通常取𝑝 = 2 ，并且𝑝值越大，则隶属度对最终的聚类效果影响就越大。（因为${\sum }_{\mathbf{j}=1}^{\mathbf{c}}{\alpha }_{\mathbf{i}\mathbf{j}}=1$，然后p越大，${\alpha }_{\mathbf{i}\mathbf{j}}^{\mathbf{p}}$使得不同类别的${\alpha }_{\mathbf{i}\mathbf{j}}$之间的差距变大）

• 上述关于𝛼_𝑖𝑗的函数𝐽(𝛼_𝑖𝑗)既包含所有簇内加权总距离，又包含该聚类算法边界划分的模糊程度，故可将其作为目标函数将样本数据集𝐷的模糊聚类问题转化为J(𝛼_𝑖𝑗)的最小值优化问题（这里的意思，就是找到使得x_i到c个聚类中心的加权距离和最小的𝛼_𝑖𝑗，其中i=1,2,…,c），即：
  $${\mathbf{a}\mathbf{r}\mathbf{g}}_{{\alpha }_{\mathbf{i}\mathbf{j}}}\min \mathbf{J}\left({\alpha }_{\mathbf{i}\mathbf{j}}\right)\text{；}\mathbf{s}.\mathbf{t}.\sum _{\mathbf{j}=1}^{\mathbf{c}}{\alpha }_{\mathbf{i}\mathbf{j}}=1$$

• 可用拉格朗日乘数法求解上述条件优化问题。令拉格朗日函数为：
  J ∧ ( α i j ) = ∑ j = 1 c ∑ i = 1 n α i j p ∑ t = 1 m ( x i t − u j t ) 2 + ∑ i = 1 n λ i ( ∑ j = 1 c α i j − 1 ) \over