机器学习笔记

机器学习(周志华) 第一章笔记

Chaper 1 基本概念

1. 基本术语

2. 数学描述

D={ x1,x2,⋯ ,xm}D = \{\boldsymbol{x_1,x_2,\cdots,x_m}\}D={ x1​,x2​,⋯,xm​} ：包含 $m$ 个样本的数据集 $D$

$\mathcal{X}$: 样本空间,每个样本由 $d$ 个特征描述, $d$ 维样本空间 $\mathcal{X}$

${\mathbf{x}}_{\mathbf{i}}=({\mathbf{x}}_{\mathbf{i}1},{\mathbf{x}}_{\mathbf{i}2},\cdots ,{\mathbf{x}}_{\mathbf{id}})$ : $d$ 维样本空间的一个向量，$x_i\in \mathcal{X}$

$x_{ij}$: 样本 ${\mathbf{x}}_{\mathbf{i}}$ 在第 $j$ 个属性上的取值

$y_i$ : 样本 $x_i$​ 的标记 , 不是向量只是一个值

$({\mathbf{x}}_{\mathbf{i}},y_i):第i个样例$

$\mathcal{Y}$ : 所有标记的集合， $y_i\in \mathcal{Y}$​

• 二分类任务，通常令 Y={ −1,1}\mathcal{Y} = \{-1,1\}Y={ −1,1} 或 { 0,1}\{0,1\}{ 0,1}

• 多分类任务，$\mathcal{Y}>2$

• 回归任务，$\mathcal{Y}=\mathbb{R}$​

3. 学习任务分类

• 根据数据是否有label，学习任务可以划分为：supervised learning, unsupervised learning

• Supervised learning(label): 若预测的是离散值，为classification; 若预测的为连续值，为regression.

学习目标：建立一个从输入空间/样本空间 $\mathcal{X}$ 到 输出空间 $\mathcal{Y}$ 的映射 $f:\mathcal{X}\mapsto$