期望风险最小化、经验风险最小化、结构风险最小化

本文为阅读《关于统计学习理论与支持向量机》论文笔记
水平有限，有错误请指出，谢谢

损失函数

损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。

有三类基本的机器学习问题 ,即模式识别、函数逼近和概率密度估计。
对模式识别问题 ,输出 y 是类别标号1,两类情况下 y= { 0, 1}或 { 1, - 1},预测函数称作指示函数 ,损失函数可以定义为：
div
使风险最小就是 Bay es决策中使错误率最小.在函数逼近问题中 , y 是连续变量 (这里假 设为单值函数 ) ,损失函数可定义为:

期望风险最小化

变量 y与 x 存在一定 的未知依赖关系 ,即遵循某一未知的联合概率 F (x , y ) , (x 和 y 之间的确定性关系可以看 作是其特例 ) ,机器学习问题就是根据 n个独立同分布观测样本