李航《统计学习方法》第4&9章 朴素贝叶斯分类器&EM算法

最新推荐文章于 2024-07-24 09:10:22 发布
原创 最新推荐文章于 2024-07-24 09:10:22 发布 · 3.4k 阅读 · 0
标签
#机器学习
本文详细介绍了朴素贝叶斯分类器的基本原理，包括其独立假设、极大似然估计的学习参数方法以及贝叶斯定理在预测中的应用。同时提到了贝叶斯估计在解决概率为0问题时的作用，并简单提及了当特征条件不独立时的贝叶斯网络，以及将要介绍的EM算法。

朴素贝叶斯(naive Bayes)定义

  • 基本假设
    输入x为n维向量，输出y取值在{c1,…,ck}K个值范围内，训练集样本个数N，假设样本独立同分布，且
    特征条件独立 。具体的：
    P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck)=∏nj=1P(X(j)=x(j)|Y=ck)

由于这一假设，朴素贝叶斯的学习大为简化，但对分类性能有一定影响

  • 学习参数
    用极大似然估计来学习先验概率分布P(Y=ck)以及条件概率分布P(X=x|Y=ck)=P(X(1)=x(1),…,
最低0.47元/天 解锁文章
论文研究-基于朴素贝叶斯和EM算法的软件工作量缺失数据处理方法.pdf
09-20
论文研究-基于朴素贝叶斯和EM算法的软件工作量缺失数据处理方法.pdf,  软件工作量数据缺失是软件工作估算的一个难题.本文在朴素贝叶斯模型和EM（expectation maximization）算法的基础上，提出了针对软件工作量数据缺失的处理方法.首先，本文介绍了数据缺失的内在机理；然后，本文提出了基于朴素贝叶斯和EM算法的软件工作量预测的方法；之后，本文提出了两种软件工作量数据缺失处理方法：容忍数据缺失方法和修复缺失数据方法；最后，本文利用ISBSG和CSBSG软件工作量数据集验证了本文所提出的数据缺失处理方法.实验结果表明：本文所提出的两种缺失数据处理方法的性能要优于MINI修复方法结合SVM的分类模型；修复缺失数据方法的预测性能要优于容忍数据缺失方法；对于两个数据集来说，其每一类别的工作量数据都来自于一个高斯组件.
EM算法及其推广(EM) Python代码 《统计学习方法》李航
03-22
经典书籍《统计学习方法》李航，第9章 EM算法及其推广(EM) -Python代码
机器学习作业6 - EM算法和朴素贝叶斯
Dapan同学
11-28 4719
EM算法和朴素贝叶斯上节课老师讲解了EM算法，然后要求我们使用EM算法完成一个低配版的朴素贝叶斯分类器。说实话网上的EM算法介绍的都比较抽象，对于数学并不是很好的我来说，看起来遇到了很大的障碍。对于EM算法的详细介绍可以参考 emma_zhang 的博文 机器学习之EM算法，下面我简单讲一下自己对于朴素贝叶斯分类器中EM算法的理解。
极大似然、朴素贝叶斯、EM算法
yumao1的专栏
09-05 328
极大似然估计 https://blog.csdn.net/zouxy09/article/details/8537620 1、写出似然函数：联合概率分布 2、似然函数处理：比如取对数 3、获得似然方程：求导数，令导数=0 4、解似然方程，获得模型参数。 PS：回顾神经网络中loss function的定义，一般都是-log(loss)形式的函数，实际上也是对训练样本进行了极大似然估计，...
朴素贝叶斯与EM算法的区别
weixin_39814560的博客
04-26 2022
1.朴素贝叶斯是有监督学习，EM算法为无监督。朴素贝叶斯需要知道数据的（x，y）配对，才能计算出先验概率和后验概率，而EM算法是对所有的隐层都进行计算求显层，不需要对数据进行标签。，只需要知道有多少种类的隐层即可 2.贝叶斯算法没有考虑数据样本之间的关联性，直接是利用统计方法计算属于某一隐层的个数、以及某一显层的个数，利用出发获得贝叶斯分类器的参数。 3.朴素贝叶斯算法忽略了样本这一维度，是建立在...
详解使用EM算法的半监督学习方法应用于朴素贝叶斯文本分类
weixin_30852419的博客
02-07 995
1.前言 　　对大量需要分类的文本数据进行标记是一项繁琐、耗时的任务，而真实世界中，如互联网上存在大量的未标注的数据，获取这些是容易和廉价的。在下面的内容中，我们介绍使用半监督学习和EM算法，充分结合大量未标记的样本，以期获得文本分类更高的准确率。本文使用的是多项式朴素贝叶斯作为分类器，通过EM算法进行训练，使用有标记数据以及未标记的数据。研究了多类分类准确率与训练集中未标记数据的比例...
EM算法理解——从朴素贝叶斯角度出发
Zhaohui1995_Yang的专栏
07-08 5356
参考资料： http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html其实虽然说看了一天的EM算法，但是当初是没有理解这个问题的，但是今天看完了朴素贝叶斯，突然之间就理解了这个算法。 也许是个巧合。先来回顾一下朴素贝叶斯： 类别的概率 p(y1) p(y2) 特征\类别 y1 y2 a1 dist
李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器（MNIST数据集）
热门推荐
wds2006sdo的专栏
07-20 2万+
相关文章 - 李航《统计学习方法》第二章——用Python实现感知器模型（MNIST数据集） - 李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集） 个人认为朴素贝叶斯比较适合特征维度较小的情况，但是MNIST数据已到达上百唯的特征,概率联乘起来超过Python float能表示的极限，因此需要一些trick来保证精度。朴素贝叶斯按照传统不详述该算法，具体内容
李航《统计学习方法》第八章——用Python+Cpp实现AdaBoost算法（MNIST数据集）
wds2006sdo的专栏
11-17 1万+
相关文章： 李航《统计学习方法》第二章——用Python实现感知器模型（MNIST数据集） 李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集） 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器（MNIST数据集） 李航《统计学习方法》第五章——用Python实现决策树（MNIST数据集） 李航《统计学习方法》第六章——用Py
李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集）
wds2006sdo的专栏
07-17 2万+
相关文章： 李航《统计学习方法》第二章——用Python实现感知器算法（MNIST数据集） 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器（MNIST数据集） 看了第三章 k近邻法 (k-nearest neighbor, k-NN) ， 发现KNN算法真的好适合在MNIST数据集上分类。因为KNN实际上就是一个少数服从多数的投票模型，所以可以用在多分类的
李航《统计学习方法》第4章习题答案参考
iwanthn的博客
07-25 6302
李航《统计学习方法》课后习题解答
《统计学习方法》啃书手册｜手写李航《统计学习方法》书中全部算法（已完成71个）
长行
08-02 1055
用Python手写实现（矩阵计算和导数计算使用轮子）了李航《统计学习方法》中绝大部分可以实现的内容。除极少数还未完成内容已列出外，其他内容已全部完成。 第02章 感知机 【算法 2.1】感知机学习算法的原始形式(原生Python实现) 【算法 2.2】感知机学习算法的对偶形式(原生Python实现) 第03章 k近邻法 【算法 3.1】k近邻计算(原生Python+sklearn的kd树实现) 简单交叉验证选择KNN分类器(原生Python+sklearn的KNN分类器) S折交叉验证选择KNN分类器(.
4.朴素贝叶斯分类器实现－matlab
Mr_W1997的博客
01-05 3436
实现朴素贝叶斯分类器，并且根据李航《统计机器学习》第四章提供的数据训练与测试，结果与书中一致 分别实现了朴素贝叶斯以及带有laplace平滑的朴素贝叶斯 %书中例题实现朴素贝叶斯 %特征1的取值集合 A1=[1;2;3]; %特征2的取值集合 A2=[4;5;6];%S M L AValues={A1;A2}; %Y的取值集合 YValue=[-1;1]; %数据集和 T=[ 1,4,-1;...
python实现朴素贝叶斯分类器（连续数据）
Big_Pai的博客
04-18 9040
有用请点赞，没用请差评。 欢迎分享本文，转载请保留出处。 一、算法 算法原理参考周志华老师的《机器学习》p151和李航老师的《统计学习方法》。 博客内容部分借鉴于腾讯云“海天一树”老师。 二、数据集 本文中的数据集使用的是“皮马印第安人糖尿病数据集”。该数据集由美国国立糖尿病、消化和肾脏疾病研究所（United States National Institute of Dia...
李航老师《统计学习方法》第二版第四章答案
qq_41626059的博客
04-11 3792
1、使用极大似然估计法推出朴素贝叶斯法概率估计公式（4.8）以及公式（4.9）. 解答：概率估计公式（4.8）是： P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,...,KP(Y = c_{k}) = \frac{\sum_{i=1}^{N}I(y_{i} = c_{k}) }{N},k = 1,2,...,K P(Y=ck​)=N∑i=1N​I(yi​=ck​)​,k=1,2,...,K 概率估计公式（4.9）是： P(Xj=ajl∣Y=ck)=∑i=1NI(xij=ajl,yi=ck)∑i=
李航统计学习方法总结
菜鸟营
03-26 1872
10种统计学习方法特点的总结概括 方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 备注 感知机 二类分类 分离超平面 判别模型 极小化误分类点到超平面的距离 误分类点到超平面距离（经验风险） 随机梯度下降 ...
重磅！李航《统计学习方法》最新资源，笔记、Python 代码一应俱全！
zenRRan的博客
04-08 345
来自 大鱼AI作者Smirk李航的《统计学习方法》可以说是机器学习的入门宝典，许多机器学习培训班、互联网企业的面试、笔试题目，很多都参考这本书。笔者近期发现了一个 GitHub 项目，...
李航 统计学习方法-机器学习前十章三要素
最新发布
qq_27550775的博客
07-24 1987
方法=模型+策略+算法本学期我们主要学习了感知机，K近邻，朴素贝叶斯法决策树，logistic回归和最大熵模型，支持向量机，Boosting算法EM算法，以及唯一的聚类：k-means模型是指对学习问题的抽象，建立了输入和输出之间的关系，策略是指学习的目标或者准则，常用的有损失函数和风险函数，用于比较模型之间的差异和泛化性能算法是指实现学习过程的具体方法，它定义了学习的步骤和更新规则一、感知机模型（Model）：策略（学习准则）（Strategy）：算法（Algorithm）：感知机学习算法采用的是随机梯度
阅读笔记 - 《统计学习方法 - 李航》
qq_42379006的博客
07-16 753
阅读笔记 - 《统计学习方法 - 李航》 1 统计分析 1.1 常见的几种损失函数 1.2 风险函数 1.3 过拟合 1.4 损失函数 1.5 模型选择的方法1：正则化 1.6 模型选择的方法2：交叉验证 1.7 生成方法与判别方法 1.8 分类器评估指标-精确率、召回率、f1 1.9 序列标...
李航统计学习方法-朴素贝叶斯
JohnBanana的专栏
04-16 2501
朴素贝叶斯法 朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法[1]。 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然 后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯 法实现简单，学习与预测的效率都很高，是一种常用的方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值