《数据挖掘》第一章 绪论 读书笔记

《数据挖掘》第一章 绪论 读书笔记

来源：基于《数据挖掘》（主编：吕欣、王梦宁）教材 + 官方配套 GitHub 仓库 XL-lab-bigdata/DataMining
仓库亮点：提供 学习笔记/ 文件夹（含多位同学贡献的结构化笔记）、各章节 code/ + data/ + exercises/，数据集已转为 .parquet 格式。

1. 本章学习目标

通过本章学习，你应该能够：

• 阐述大数据时代背景及其战略意义
• 区分数据、信息、知识的层次关系
• 掌握大数据的 4V 特征 及扩展特征
• 理解数据挖掘的定义、与 KDD 的关系及标准流程
• 熟悉本书覆盖的 9 大核心技术领域
• 认识大数据挖掘的主要挑战、典型应用及隐私伦理问题

2. 大数据时代背景

大数据已成为国家重要的战略资源。数据规模从 KB → MB → GB → TB → PB → EB → ZB → YB 呈爆炸式增长。

核心转变：数据从“副产品”变为“核心生产要素”。

3. 大数据的基本概念

3.1 数据、信息、知识的递进关系

3.2 大数据的特征（4V + 扩展）

4. 数据挖掘的定义与定位

数据挖掘（Data Mining） 是从海量数据中自动或半自动发现隐藏的、有用的模式和知识的过程。

4.1 数据挖掘与 KDD 的关系

• KDD（Knowledge Discovery in Databases）：更广义的过程，包含数据准备、挖掘、评估等完整流程
• 数据挖掘：KDD 的核心阶段（模式发现）

关系图示：

数据清洗 → 数据集成 → 数据选择 → 数据变换 → 
数据挖掘（模式发现） → 模式评估 → 知识表示

4.2 数据挖掘 vs 机器学习 vs 人工智能

5. 数据挖掘的基本流程

推荐同时参考 KDD 过程 和 CRISP-DM 模型。

5.1 KDD 典型阶段

1. 数据准备（选择、清洗、集成、变换）
2. 数据挖掘（建模）
3. 模式评估
4. 知识表示与应用

5.2 CRISP-DM 循环（工业界常用）

业务理解 → 数据理解 → 数据准备 → 建模 → 评估 → 部署 →（返回业务理解）

6. 本书数据挖掘技术体系（9 大核心领域）

本书系统覆盖以下 9 大领域，对应仓库 chapter2 ~ chapter10：

7. 大数据挖掘的挑战

• 高维灾难（Curse of Dimensionality）
• 概念漂移与数据分布变化
• 实时性与可扩展性要求
• 异构数据融合
• 可解释性（XAI）需求
• 隐私保护与算法公平性

8. 典型应用场景

• 金融风控：信贷违约预测、反欺诈
• 智能医疗：疾病预测、个性化治疗
• 智能制造：设备故障预警、质量优化
• 电商与推荐：用户画像、个性化推荐
• 智慧城市：交通流量预测、犯罪热点分析

9. 隐私与伦理问题（重点关注）

主要风险：

• 隐私泄露（知情同意权缺失）
• 算法歧视（大数据杀熟、性别/种族偏见）
• 自主权侵犯

推荐遵循的原则（教材总结）：

1. 目的明确性
2. 数据最小化
3. 透明可解释
4. 安全保障
5. 用户赋权
6. 责任可追溯

10. 实践代码示例（桥接到 Chapter 2）

虽然本章偏理论，但仓库 chapter2/code/ 已提供描述性统计实战代码。以下是典型描述性统计分析示例（推荐在仓库代码基础上扩展）：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

# 读取数据（仓库推荐使用 .parquet 格式）
# df = pd.read_parquet('data/某数据集.parquet')

# 示例数据
np.random.seed(42)
data = pd.DataFrame({
    '年龄': np.random.normal(35, 10, 1000),
    '收入': np.random.lognormal(10, 0.5, 1000),
    '评分': np.random.randint(1, 6, 1000)
})

print("=== 基础描述性统计 ===")
print(data.describe())

print("\n=== 自定义统计指标 ===")
desc_stats = pd.DataFrame({
    '均值': data.mean(),
    '中位数': data.median(),
    '标准差': data.std(),
    '偏度': data.skew(),
    '峰度': data.kurtosis(),
    '变异系数': data.std() / data.mean()
})
print(desc_stats)

# 可视化
fig, axes = plt.subplots(1, 3, figsize=(15, 4))
for i, col in enumerate(data.columns):
    sns.histplot(data[col], kde=True, ax=axes[i])
    axes[i].set_title(f'{col} 分布')
plt.tight_layout()
plt.show()

仓库使用提示：

• 所有代码均为独立脚本（independent script）
• 数据集已从 .csv 转为 .parquet
• 建议按 PEP 8 规范重命名后复用

11. 本章知识总结清单（推荐整理成卡片）

• 大数据的 4V + 3V 扩展特征
• 数据 → 信息 → 知识 的递进关系
• KDD 过程的主要阶段
• 本书 9 大核心领域及对应章节
• 数据挖掘 vs 机器学习 vs KDD 的区别
• 大数据挖掘的主要挑战
• 隐私保护基本原则

12. 思考与练习建议

1. 结合仓库 学习笔记/1 绪论_A.md 进行对比学习
2. 尝试在 chapter2/code/ 基础上添加更多统计图表（箱线图、Q-Q 图）
3. 思考：当前你所在行业最需要哪一类数据挖掘技术？为什么？
4. 讨论：如何在实际项目中平衡数据挖掘效果与用户隐私？

参考资源：

• 官方仓库：https://github.com/XL-lab-bigdata/DataMining
• 仓库内 学习笔记/ 多位同学贡献笔记（强烈推荐阅读 A/B 版）
• 后续章节将逐步补充代码与案例

笔记撰写日期：2026年5月
建议与仓库代码结合实践，效果更佳