Probability Latent Semantic Analysis (PLSA) 模型 学习笔记

最新推荐文章于 2021-03-12 21:04:18 发布
原创 最新推荐文章于 2021-03-12 21:04:18 发布 · 1w 阅读 · 12
标签
#PLSA #主题模型 #EM算法 #NLP #语义
本文详细介绍了概率潜在语义分析(PLSA)模型，包括其基本思想——作为一种主题模型，通过两层概率分布建模文档中的主题。PLSA通过EM算法进行推导，并对模型的优缺点进行了分析。尽管存在参数数量随文档增加而线性增长等缺点，但其解决了同义词和多义词问题，并为LSA提供了统计学基础。

Probability Latent Semantic Analysis (PLSA) 模型 学习笔记

    

    PLSA是前面LSA的兄弟版，相比于LSA而言，PLSA定义了概率模型，而且每个变量以及相应的概率分布和条件概率分布都有明确的物理解释了。这篇博文我们分三部分来说PLSA：基本思想，EM算法推导，以及优缺点分析。


1.  PLSA的基本思想


    PLSA是一种主题模型topic model，是针对文本中隐含的主题来建模的方法。PLSA就是给定了文档d之后，需要以一定的概率选择与文档相对应的主题z，然后再从主题z中以一定的概率选择单词w。我们用下图来形象说明：

最低0.47元/天 解锁文章
概率潜在语义分析（ PLSA）详解
zhong_ddbb的博客
05-24 3506
文章目录生成模型共现模型模型性质模型参数与LSA关系PLSA实现算法 概率潜在语义分析（probabilistic latent semantic analysis, PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督方法。模型最大的特点是用隐变量表示话题，整个模型表示文本生成话题，话题生成单词，从而得到单词—文本共现数据的过程。 假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。潜在语义分析基于非概率模型，概率潜在语义分析基于概率模型。 生成模型 假设有M个单词集合W={w1,w2.
主题模型（3）——PLSA模型及其EM算法求解
zxhohai的博客
03-01 2655
之前整理过两篇关于主题模型的博客《文本建模之Unigram Model，PLSA与LDA》和《再看LDA主题模型》，主要是整理了主题模型的由来和推导过程，关于模型参数怎么计算没有过多涉及，因此接下来将分两篇博客，分别整理PLSA模型和EM算法求解，LDA模型和Gibbs Sample求解。 PLSA 首先回顾下PLSA，作为生成模型，其在文本生成过程中，引入主题的概念，即先从KKK个主题中选定一个...
PLSA详解
weixin_33946605的博客
07-26 2197
pLSA的原理理解 　　首先，我们直接来看一下pLSA是一个什么东西，从简单入手。不去管参数计算的问题，先弄明白pLSA的目的再说。 　　pLSA其实不过是提出了一种关于人在写文章时的假设，一篇文章是由单词组成的，那么这些单词的产生过程是什么样的呢？pLSA认为就是人在写文章的时候会首先想到几个主题，那么这篇文章就是由这几种主题组成的。 比如：家，买东西，回忆，人生等等。当然，这几种主题在这篇...
主题模型对比：LSA、pLSA、LDA
SHOUGOUGOU的专栏
08-05 2775
https://zhuanlan.zhihu.com/p/31470216 前言 本篇博文将详细讲解LDA主题模型，从最底层数学推导的角度来详细讲解，只想了解LDA的读者，可以只看第一小节简介即可。PLSA和LDA非常相似，PLSA也是主题模型方面非常重要的一个模型，本篇也会有的放矢的讲解此模型。如果读者阅读起来比较吃力，可以定义一个菲波那切数列，第 f(n) = f(n-1) + f(n-2) 天再阅读一次，直到这个知识点收敛。如果读者发现文章中的错误或者有改进之处，欢迎交流。 1. 简介 .
PLSA的简单概念
weixin_33936401的博客
03-29 282
PLSA (概率潜语义分析) 是基于 双模式 和 共现 的数据分析方法延伸的经典的统计学方法。概率潜语义分析 应用于信息检索，过滤，自然语言处理，文本的机器学习或者其他相关领域。概率潜语义分析 与 标准潜语义分析 的不同是，标准潜在语义分析是以 共现表（就是共现的矩阵）的奇异值分解的形式表现的，而概率潜在语义分析却是基于派生自 LCM 的混合矩阵分解。考虑到word和doc共现形式，概率潜语义分析...
主题（话题）模型LSA/PLSA/LDA简述
m0_37584687的博客
03-12 1024
主题（话题）模型LSA/PLSA/LDA简述 0. 预定义 w 表示词，V 表示词表大小（固定值）。 z 表示主题，K 表示主题数量。 D = (d1,d2,...,dM)(d_1, d_2, ..., d_M)(d1​,d2​,...,dM​)表示语料库，M 表示文档数量。 d = (w1,w2,...,wN)(w_1,w_2,...,w_N)(w1​,w2​,...,wN​)表示一篇文档，N 为文档中词的数量。 注意话题模型是词袋模型，词之间并没有顺序。 狄利克雷分布Dirichlet(α→\over
LSA (Latent Semantic Analysis) & PLSA (Probability Latent Semantic Analysis)
cuiyanws的专栏
12-20 4314
自然语言和文本处理是人工智能和机器学习方面的一个重大的挑战，在这个领域中的任何巨大进步都会对信息检索，信息过滤，智能接口，语言识别，自然语言处理，机器学习产生重大的影响。机器学习的主要难点在于“被阐述”的词法和“真正要表达”的语义的区别。产生这个问题的原因主要是：1.一个单词可能有多个意思和多个用法。2. 同义词和近义词，而且根据不同的语境或其他因素，原本不同的单词也有可能表示相同的意思。 LSA是处理这类问题的著名技术，其主要思想就是映射高维向量到潜在语义空间，使其降维。LSA的目标就是要寻找到
PLSA(Probability Latent Semantic Analysis)
xiaolu的专栏
05-28 959
PLSA是更为先进的方法。他解决了同义词和多义词的问题，利用了强化的期望最大化算法（EM）来训练隐含类（潜在类）。而且相对了LSA，有了坚实的统计学基础。 PLSA的建模——层面模型 层面模型就是关联于潜在类Z的共现表的潜在可变模型。在层面模型中，文档被视为潜在的K个层面的混合。每一个层面就是word对于z(潜在类)的概率分布。 PLSA的建模——数据的共现 对于每一组（w
主题模型之概率潜在语义分析（Probabilistic Latent Semantic Analysis）
weixin_34248258的博客
09-17 1004
上一篇总结了潜在语义分析（Latent Semantic Analysis, LSA），LSA主要使用了线性代数中奇异值分解的方法，但是并没有严格的概率推导，由于文本文档的维度往往很高，如果在主题聚类中单纯的使用奇异值分解计算复杂度会很高，使用概率推导可以使用一些优化迭代算法来求解。 Thomas Hofmann 于1998年根据似然原理定义了生成模型并由此提出了概率潜在语义分析模型（Proba...
PLSA详细介绍
ustccyf的专栏
05-16 5403
1.引子 Bag-of-Words 模型是NLP和IR领域中的一个基本假设。在这个模型中，一个文档(document)被表示为一组单词(word/term)的无序组合， 而忽略了语法或者词序的部分。BOW在传统NLP领域取得了巨大的成功，在计算机视觉领域(Computer Vision)也开始崭露头角，但在 实际应用过程中，它却有一些不可避免的缺陷，比如： 稀疏性(Sp
自然语言处理从小白到大白系列（1）Word Embedding之主题模型
ibelieve8013的博客
03-22 844
有些同学一提到Word Embedding，马上就想到的是word2vec，glove，fasttext，cBOW，skip-gram，然而却常常忽略最基本的文本嵌入方法，如本文提到的主题模型，包括pLSA，LDA, 还有后面会提到的 MF（matrix factorization）, NMF以及sparse coding等传统的方法。 讲到主题模型，大家普遍觉得是LDA，但是其实前面还有一个模...
主题模型TopicModel：Unigram、LSA、PLSA主题模型详解
笔尖的痕的专栏
08-02 1万+
http://blog.csdn.net/pipisorry/article/details/42560693 主题模型历史： Papadimitriou、Raghavan、Tamaki和Vempala在1998年发表的一篇论文中提出了潜在语义索引。1999年，Thomas Hofmann又在此基础上，提出了概率性潜在语义索引（Probabilistic Lat
[学习笔记]学习主题模型(Topic Model)和PLSA( probabilistic latent semantic analysis）
xiaopei的博客
05-30 6万+
from: http://www.hxxiaopei.com/?p=71 读了著名的【Google News Personalization Scalable Online CF】，提及到针对用户聚类，利用相似用户性信息计算喜欢的news。其中包含min-hash以及plsi，产生了对plsi的兴趣。 plsi是model-based 推荐算法，属于topic(aspect) mo
PLSA模型的再理解以及源码分析
bigfacesafdasgfewgf
01-30 5026
PLSA模型的再理解以及源码分析         之前写过一篇PLSA的博文，其中的收获就是知道PLSA是LSA在概率层面的扩展，知道了PLSA是一种主题模型，知道了PLSA中的参数估计使用的是EM算法。当时我就认为，这样子经典好用的算法，我是会回头再来理解它的，这样子才会有更加深刻的心得。所以有了这篇PLSA模型的再理解。 1. 两种思路解PLSA模型     参考了很多
PLSA的理解及推导
赵小越的博客
08-09 3077
        plsa对于文本主题的发展，在于其对于lsa进行了概率化，也就是文档的生成过程涉及到了选择主题，然后从主题中选择单词的过程，这二个选择的过程都满足多项式分布的情况。        对于PLSA而言，就是一个典型的EM算法问题呀。主题就是隐含变量，已知变量就是单词，文本的情况。再求解EM算法时，首先要明确极大化的对数似然函数，然后求E步，E步求解中首先要把隐含变量的条件概率求出来，...
深入理解LDA和pLSA
木东的博客
09-21 1万+
主题模型LDA         在开始下面的旅程之前，先来总结下我们目前所得到的最主要的几个收获： 通过上文的第2.2节，我们知道beta分布是二项式分布的共轭先验概率分布：  “对于非负实数和，我们有如下关系     其中对应的是二项分布的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Be
小白自总结【pLSA】实验详细记录
越努力，越幸运
02-02 2660
小白记录，如有错误或不妥之处，请大神们赐教嘻嘻嘻 （注：实验数据为POI数据，实验目的是对一定范围内的POI信息进行语义分析，得其主题词——后来才发现用该数据进行pLSA实验其实是不合适的）
PLSA算法详解和代码实现
baidu_15113429的博客
05-31 3048
学习连接 详细学习链接
机器学习复习——pLSA、LDA
RYP_S 的专栏
11-05 649
 pLSA: pLSA由LSA发展过来，而早期LSA的实现主要是通过SVD分解。pLSA的模型图如下： 公式中的意义如下： 具体可以参考2010龙星计划：机器学习中对应的主题模型那一讲  LDA： 主题模型，概率图如下： 和pLSA不同的是LDA中假设了很多先验分布，且一般参数的先验分布都假设为Dirichlet
什么是CICD
热门推荐
Penn Li的博客
07-17 30万+
什么是CICD一、简介二、持续集成（CI）三、持续交付（CD）四、持续部署（CD）五、下一步是什么？ 一、简介 CI / CD的采用改变了开发人员和测试人员如何发布软件。 最初是瀑布模型，后来是敏捷开发，现在是DevOps，这是现代开发人员构建出色的产品的技术路线。随着DevOps的兴起，出现了持续集成（Continuous Integration），**持续交付（Continuous Deli...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值