ESL-CN项目解读：当特征不可用时的分类方法

ESL-CN项目解读：当特征不可用时的分类方法

【免费下载链接】ESL-CN 项目地址: https://gitcode.com/gh_mirrors/es/ESL-CN

引言

在传统机器学习任务中，我们通常假设数据以特征向量的形式存在。然而在实际应用中，很多研究对象难以直接定义为特征向量，或者特征向量维度极高难以直接处理。本文将探讨当特征不可用或难以直接处理时的分类方法，重点介绍基于相似性矩阵（proximity matrix）的技术路线。

相似性矩阵的核心思想

相似性矩阵（proximity matrix）是一个N×N的矩阵，其中每个元素表示两个样本之间的相似程度。当原始特征不可用时，我们可以：

1. 直接构建样本间的相似性度量
2. 将相似性解释为内积
3. 基于内积矩阵应用各种分类器

这种方法的核心在于绕过特征提取步骤，直接在样本相似性层面进行操作。

蛋白质分类案例研究

问题背景

在计算生物学中，蛋白质分类是一个典型的需要处理非结构化数据的任务。蛋白质分子可以表示为氨基酸序列，例如：

长度110的序列：MLTEAEK...QLLR
长度153的序列：MPRLFSY...VQKLK

字符串核方法

我们可以定义字符串核(string kernel)来衡量两个蛋白质序列的相似性：

1. 统计所有长度为m的子序列出现的次数
2. 构建特征映射Φₘ(x) = {φₐ(x)}，其中φₐ(x)表示子序列a在x中出现的次数
3. 定义核函数Kₘ(x₁,x₂) = ⟨Φₘ(x₁), Φₘ(x₂)⟩

实际操作中，直接计算高维特征向量(当m=3时维度为20³=8000)效率低下。通过树结构等优化方法，可以直接高效计算核矩阵而无需显式计算特征向量。

实验结果

在一个包含1708个蛋白质(1663阴性/45阳性)的数据集上：

• 使用m=4的字符串核(维度160000)配合SVM
• 10折交叉验证得到ROC曲线下面积(AUC)为0.84
• 性能优于最近重心分类器和1-最近邻分类器

基于内积核的通用分类方法

除了SVM，许多分类器都可以仅依赖内积矩阵实现：

1. 最近邻分类器

通过公式将内积转换为距离： ‖xᵢ - xⱼ‖² = ⟨xᵢ,xᵢ⟩ + ⟨xⱼ,xⱼ⟩ - 2⟨xᵢ,xⱼ⟩

2. 最近重心分类器

计算测试点到各类重心的距离： ‖x₀ - x̄ₖ‖² = ⟨x₀,x₀⟩ - (2/Nₖ)∑⟨x₀,xᵢ⟩ + (1/Nₖ²)∑∑⟨xᵢ,xⱼ⟩

3. 主成分分析(PCA)

通过内积矩阵的特征分解实现：

1. 中心化内积矩阵K̃ = (I-M)K(I-M)
2. 对K̃进行特征分解得到主成分

4. 从距离矩阵出发

当只有成对距离时，可以转换为内积矩阵：

1. 定义B = {-Δ²ᵢⱼ/2}
2. 二次中心化：K̃ = (I-M)B(I-M)

方法局限性

虽然基于核的方法很强大，但也有明显限制：

1. 无法进行特征标准化：标准化通常能显著提升性能
2. 无法评估单个特征贡献：不能做t检验或变量选择
3. 无法区分重要特征与噪声：所有特征同等对待
4. 解释性差：难以理解模型决策依据

摘要分类实例分析

实验设置

收集48篇来自三位统计学家(BE, HT, JF)的论文摘要：

1. 构建词袋表示(word counts)
2. 比较不同分类方法

结果对比

1. Nearest Shrunken Centroid：

   • 误差率17%
   • 可缩减至约500个特征不影响性能
   • 能识别有意义的判别词

2. SVM(线性核)：

   • 表现较差
   • 无法利用特征标准化

3. Nearest Medoids：

   • 表现最差
   • 小样本高维情况下方差过大

4. Nearest Centroids：

   • 优于medoids但差于shrunken centroids
   • 标准化是关键差异因素

结论与讨论

当特征不可直接获取时，基于相似性矩阵的方法提供了可行的解决方案。蛋白质分类案例展示了如何从序列数据构建有效的核函数。然而，这类方法在特征选择和解释性方面存在固有局限。

在实际应用中需要权衡：

• 当特征意义明确且可获取时，传统方法通常更优
• 对于非结构化数据(如文本、序列)，核方法提供有效途径
• 核函数的设计对性能至关重要

理解这些方法的原理和限制，有助于在实际问题中选择合适的解决方案。

【免费下载链接】ESL-CN 项目地址: https://gitcode.com/gh_mirrors/es/ESL-CN