西瓜书学习——第十二章计算学习理论

本章最重要的部分在于如何理解和计算信息增益，并且要有能力复现出ID3算法，除此之外剪枝的思想也很重要。

为什么这本《机器学习》，封面会有很多西瓜？ 为什么要叫他西瓜书？ 就因为封面是西瓜？

决策树模型是机器学习领域最常见的模型之一，甚至有人说决策树模型上机器学习领域的水平上升了一个台阶。决策树的基本思想是根据样本的一些特征来构造一个树，树的每个分支节点都是一个分支属性，每个分支节点都会针对当前节点的属性把样本一分为二，有这个属性或者说在这个属性上表现为yes的数据被分为一个集合，没有这个属性或者在这个属性上表现为no的数据呗分为一个集合。一个完整的决策过程包含若干个子决策，最终得到判定结果。以“找出好瓜”这个任务为例，假设西瓜有“色泽“，”根蒂“，”敲击声“这三个属性，假设先判定“色泽”这个属

西瓜书学习指南

12. 计算学习理论12.1 基础知识泛化误差与经验误差12.2 PAC学习12.3 有限假设空间12.3.1 可分情形13.3.2 不可分情形12.4 VC维（无限假设空间）12.5 Rademacher复杂度12.6 稳定性 12.1 基础知识 计算机学习理论研究的是关于通过计算来进行学习的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证。例如：在什么条件...

第十二章 计算学习理论 此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中… 12.1 基础知识 1、概述 目的：分析学习任务的困难本质，为学习算法提供理论保证） 2、一些定义 令h为从X到Y的映射，h的泛化误差：E(h;D)=Px∼D(h(x)≠y)E(h;\mathcal{D})=P_{\bm x\sim\mathcal{D}}(h(\bm x)≠y)E(h;D)=Px∼D​(h(...

计算学习理论学习问题的可行性学习问题的复杂性学习问题的泛化性。

计算学习理论（computational learning theory）是一门研究如何使用计算机科学和数学方法来理解学习过程的学科。它涉及到机器学习、统计学习理论、数据挖掘等领域，旨在通过算法和模型来描述和分析学习的过程。iidi.i.d.iid给定样例集Dx1y1x2y2xmymD{(x1​y1​x2​y2​...xm​ym​)}xi∈Xxi​∈X，本章主要讨论二分类问题，若无特别说明，yi∈Y。

VC维是统计学和机器学习中的一个概念，用于衡量一个假设类（hypothesis class）的表示能力或复杂性。VC维描述了这个假设类可以拟合的样本集的最大大小，使得该假设类可以实现所有可能的二分类标签的组合。Rademacher 复杂度是一个用来衡量假设空间FF复杂度的概念，它通过随机扰动训练数据来估计一个函数类在实际数据上的期望性能。具体来说，Rademacher复杂度定义如下：设ZZ是输入空间，FF是一个假设空间，Zz1z2zmZz1​z2​zm​是从。

本章涉及的数学理论知识太多，大多是纯理论的公式推导，所以目前只是大体看了一遍，了解了一些基本的概念和知识，并没有深入地对每一个定理进行证明和推导。所以课后题参考这篇博客：https://blog.csdn.net/icefire_tyh/article/details/52270432 日后有机会要用到的话会重新回过头来进行推导学习。 ...

写在前面：西瓜书可谓国内机器学习近年最优秀的专业书籍之一。本文以及本系列是笔者阅读南京大学周志华先生所著《机器学习》一书及书中提到的论文所做的每章总结与归纳。本作自学、记录之用，若能为大家的学习提供方便则是笔者荣幸。转载请注明出处，相关问题友好讨论。本章介绍计算学习理论。12.1 基础知识计算学习理论（Computational Learning Theory）：通过计算来进行机器学习的理论，即分...

可以想象你在玩飞镖游戏，飞镖扎在靶盘上的位置有很多变化，PCA 就是要找到飞镖分布最分散的方向，把这些方向作为新的 “坐标轴”，然后把飞镖的位置都投影到这些新坐标轴上，这样就能用更少的 “坐标” 来表示飞镖的位置，实现了降维。通过给计算机很多鸟类图片进行训练，虽然不能保证计算机对每一张新的鸟类图片都能准确识别，但是我们可以通过调整训练数据的数量、模型的复杂度等，让计算机在大多数情况下（比如 90% 的情况）都能正确识别鸟类，这就是 PAC 学习所追求的，在一定概率下得到近似正确的结果。

12.1 基础知识 计算学习理论研究的是：通过计算来进行学习的理论。 目的是：为学习任务分析困难本质，为学习算法提供理论保证并根据分析结果指导算法设计。 给定样例集D = {(x1,y1),(x2,y2),(...)}，xi属于X，本章基于二分类问题讨论。其中的yi属于(0,1)。假设X中的所有样本服从一个隐含未知的分布D，D中所有样本都是独立地从这个分布上采样得到的，即独立同分布样本. 令h是从X到Y的一个映射,其泛化误差为: E(h;D) = Px ~ D (h(x) != y); 此外

西瓜书第一章绪论习题

我很早就冒出来对人工智能的兴趣萌芽，以前也试图去闯入这个领域。我上知乎查过，在百度上搜索过，也看过一些课，每次都是学了一点点就直接被大量看不懂的公式和看似高深的理论劝退，然后我自我安慰道：“难怪国内大学本科开人工智能的学校没几个.”但是我最近又冒出了学习人工智能的想法，因为学校的一位老师和我沟通，想要我去他的创业公司搞算法。我去了解了一下这个公司，主要的业务是使用人工智能优化建筑设计的图纸。我认真思考了一晚上，决定我要入门人工智能这个看似很高深的领域。 老师给我推荐了两本书，一本是周志华写的《机器学习》简

西瓜书只能说快速过了一遍，花了一个多星期吧，然后后边的内容是一点也看不懂了（能发现前面记得比较详细，到了后边是看不懂一点了，脑壳痛QWQ就不像是一本新手的入门书籍，太难受了ಥ_ಥ，了解概念这本书也不适合，还是转为看《邱锡鹏，神经网络与深度学习》和李沐动手学AI课的实践部分，ಠ_ಠ。

本书从机器学习的角度讲授这些数学知识，对它们在该领域的应用举例说明，使读者对某些抽象的数学知识和理论的实际应用有直观、具体的认识。”中除了公式以外的重、难点内容加以解析，以过来人视角给出学习建议，旨在对比较难理解的公式和重点内容扩充具体的例子说明，以及对跳步过大的公式补充具体的推导细节。全书共16 章，与“西瓜书”章节、公式对应，每个公式的推导和解释都以本科数学基础的视角进行讲解，希望能够帮助读者快速掌握各个机器学习算法背后的数学原理。本书囊括了数学及相关概念的背景知识，包括线性代数、概率论、信息论、

西瓜书与南瓜书的“理论-数学”双视角学习，不仅让我掌握了模型评估与选择的方法论，更培养了从“直觉猜想”到“数学证明”再到“工程实现”的完整思维链条。：对南瓜书中的关键公式（如自助法的样本概率计算），通过Python模拟（如numpy.random.choice）验证理论结果。：南瓜书对代价矩阵的推导（如公式2.23的加权错误率）提示，实际任务中需将业务代价（如医疗误诊成本）嵌入模型优化目标。：当模型复杂度（如VC维）超过数据分布的信息量时，泛化误差上界的第二项（与VC维正相关）主导，导致性能下降。

对一个指示函数集，如果存在hhh个样本能够被函数集中的函数按所有可能的2h2^h2h种形式分开，则称函数集能够把hhh个样本打散。函数集的VCVCVC维就是它能打散的最大样本数目hhh。若对任意数目的样本都有函数能将它们打散，则函数集的VCVCVC维是无穷大。VCVCVC维是一个评判模型复杂程度的工具。VCVCVC维越大则模型的复杂度越高。一般情况下，假设空间的VCVCVC维约等于假设自由变量的数目。