Pytorch学习 -文本预处理-马尔可夫假设

最新推荐文章于 2025-06-06 09:58:22 发布
原创 最新推荐文章于 2025-06-06 09:58:22 发布 · 855 阅读 · 1
标签
#pytorch
本文探讨了马尔可夫链在自然语言处理中的应用，包括一元、二元和三元语法的概率计算，以及马尔可夫假设在实际场景下遇到的问题，如参数空间和数据稀疏性挑战。

伯禹学习平台学习

'[^a-z]+' #正则表达式

马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔可夫链（Markov chain of order n）。

如果n=1，那么有P(w3|w1,w2)=P(w3|w2)。

P(w_{1},w_{2},..,,w_{T})=\prod_{t=1}^{T}P(w_{t}|w_{t-(n-1)},...,w_{n-1}).

当n分别为1、2和3时，我们将其分别称作一元语法（unigram）、二元语法（bigram）和三元语法（trigram）。例如，长度为4的序列w1,w2,w3,w4在一元语法、二元语法和三元语法中的概率分别为

 

P(w1,w2,w3,w4)=P(w1)P(w2)P(w3)P(w4),

P(w1,w2,w3,w4)=P(w1)P(w2∣w1)P(w3∣w2)P(w4∣w3),

P(w1,w2,w3,w4)=P(w1)P(w2∣w1)P(w3∣w1,w2)P(w4∣w2,w3).

当n较小时，n元语法往往并不准确。例如，在一元语法中，由三个词组成的句子“你走先”和“你先走”的概率是一样的。然而，当n较大时，n元语法需要计算并存储大量的词频和多词相邻频率。

齐夫定律：单词排名与单词词频排名成反比？

在

最低0.47元/天 解锁文章
马尔科夫模型 详解
强化学习曾小健
06-16 4681
可以理解为从 �+1 到 � 时刻的部分观测序列并不存在（不必考虑），因此规定 ��(�) 的值为1。其中，���为隐状态转移矩阵，��(��+1)为隐状态-显状态发散概率，��+1(�)为�后面序列对应的后向概率。此时为初始分布，即�0=(�0(1),�0(2),�0(3))=(0.3,0.4,0.3)，其中��(�)=�(��=�),�=1,2,3，则有�1=�0∗�,��=�0∗��。其中 ∑�=1���(�)��� 表示上层所有节点到当前层节点的连接， ��(��+1) 为隐状态-显状态发散概率。
动手学深度学习之自然语言处理（NLP）
sunshine
02-14 1023
动手学深度学习之自然语言处理（NLP） 文章目录动手学深度学习之自然语言处理（NLP）1、文本预处理1.1**分词代码实现：python+pytorch**1.2 分词工具【spaCy和NLTK】2、语义模型3、循环神经网络3.1循环神经网络的构造3.2从零开始实现循环神经网络裁剪梯度 1、文本预处理 具体步骤： 读入文本 分词 建立字典，为每个词建立索引 将文本从词的序列转换为索引的序列，方便...
马尔可夫假设
weixin_44911404的博客
12-14 1458
马尔可夫作为大语言模型的初步统计语言模型
HMM理论学习笔记-隐马尔可夫模型的三个元素、假设和问题
Wayne的CSDN博客
04-29 2711
HMM学习笔记1
理解Markov假设
ybdesire的专栏
02-08 1万+
引言 Markov假设是基于模板表示的时序模型的基础。也是理解HMM的前提。 简单说来，Markov假设使得概率计算得到简化。下面讲解如何直观的理解Markov假设，以及它详细推导过程。 时序模型 当对动态环境进行建模时，我们感兴趣的是，当问题的状态随时间变化时，对其关于状态进行推理。 这种环境可以根据系统状态进行建模。用X(t)X(t)X^{(t)}表示系统变量（也叫模板变量）。可...
马尔科夫假设
xixixixixixixi21的博客
07-06 860
马尔科夫假设（Markov Assumption），也称为无记忆假设，它假设在给定当前状态的情况下，未来的状态只依赖于当前状态，而与过去的状态序列无关。
动手学深度学习Pytorch Task02
weixin_45325331的博客
02-14 348
第二节课的内容包括文本预处理、语言模型和循环神经网络基础。本人对这方面不是很精通，可能会有错误。 文本预处理 文本预处理主要包括四个步骤：读入文本、分词、建立字典、将词转化为索引 读入文本 import collections import re def read_time_machine(): with open('/home/kesci/input/timemachine7163/t...
公益AI第一次学习打卡
qq_45805032的博客
02-14 345
Task01 线性回归；Softmax与分类模型；多层感知机 经过第一天的学习，加深了自己对于深度学习基础知识理解。虽然之前自己对于这方面的知识有过了解，但还是有不清楚的地方。下面是对自己的知识进行查漏补缺的一个总结。 线性回归 在线性回归课程中，对于两个形状相同的类做按元素运算，对于形状不同的两个类按元素运算时，可能会触发广播机制：先适当复制元素使这两个类形状相同后再按元素运算。 其中的广播机制...
《动手学深度学习Pytorch版》Task2-文本预处理、语言模型、循环神经网络
Tylor_ljh的博客
02-14 290
课程链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV 文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 有很多现成的分词工具包可以使用...
【机器学习】马尔可夫模型与隐马尔科夫模型
m0_53700832的博客
07-15 4723
马尔可夫模型（Markov Model）是一种用于描述系统状态随时间变化的数学模型。通俗地说，它是一种预测未来状态的工具，假设未来状态只依赖于当前状态，而不依赖于过去的状态。这种假设被称为“马尔可夫性”或“无后效性”。马尔可夫模型是一种非常有用的工具，用于描述和预测系统状态随时间变化的情况。关键是只考虑当前状态，而不考虑历史状态。这使得模型简单且易于计算，适用于许多实际问题，如天气预测、股票市场分析、语言处理等。初始状态分布π\piπ：描述系统初始时刻各状态的概率。状态转移概率矩阵AAA。
什么是马尔可夫模型
彬彬侠的博客
12-02 4602
马尔可夫模型（Markov Model）是一种基于马尔可夫性假设的随机过程模型，用于描述系统在一系列状态间的转移行为。本文描述了马尔可夫性假设、马尔可夫模型的基本要素、马尔可夫模型的类型、性质与推导和马尔可夫模型的应用。
机器学习算法——概率图模型（隐马尔可夫模型1）
Vicky_xiduoduo的博客
10-11 1111
HMM的三大要素和三大假设
用简单易懂的例子解释隐马尔可夫模型
sy_mira1111的博客
09-17 4624
隐马尔可夫（HMM）好讲，简单易懂不好讲。我认为 @者也的回答没什么错误，不过我想说个更通俗易懂的例子。我希望我的读者不是专家，而是对这个问题感兴趣的入门者，所以我会多阐述数学思想，少写公式。霍金曾经说过，你多写一个公式，就会少一半的读者。所以时间简史这本关于物理的书和麦当娜关于性的书卖的一样好。我会效仿这一做法，写最通俗易懂的答案。 还是用最经典的例子，掷骰子。假设我手里有三个不同的骰子。
PGM：无向图模型：马尔可夫网（随机场）MRF
皮皮blog
09-12 1万+
http://blog.csdn.net/pipisorry/article/details/52489321马尔可夫网皮皮blog无向图模型误解示例P-map不能构建贝叶斯网的一个示例x1表示这个学生对概念存在误解，x0表示没有。Note: 其中的bd其实只要给定c就是相互依赖了。[PGM：贝叶斯网络 ]误解示例的无向图模型解决
隐马尔科夫模型
weixin_33832340的博客
05-13 212
马尔科夫过程 马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。 考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是 {S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn来表示系统在t=1,2,3,…n时刻下的状态。在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(SN)表示t=1时系统状态为SN的概率。 马尔科夫模型有两个假设： 1....
马氏链（Markov Chain Model）模型知识详解（1）
最新发布
qq_36812406的博客
06-06 2340
未来状态只依赖于当前状态，而与过去状态无关。PXn1x∣XnxnXn−1xn−1X0x0PXn1x∣XnxnPXn1​x∣Xn​xn​Xn−1​xn−1​...X0​x0​PXn1​x∣Xn​xn​其中，XnX_nXn​是在时间nnn的状态。
隐马尔可夫模型（HMM）攻略
热门推荐
likelet的专栏
12-09 22万+
隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。 　　考虑下面交通灯的例子
马尔可夫链文本生成c语言,利用马尔可夫链生成随机文本
weixin_30986079的博客
05-23 383
the people 空3) hash表与后缀数组相结合，使用后缀数组构造hash表首先解决一个问题当有多个suffix时，如何按照概率选择一个，比如the people by for 空，int nmatch=0;for everyone in suffixif( rand()%++nmatch==0 )select=this_suffix;对...
(四)N-gram语言模型与马尔科夫假设
Haward
09-16 9111
1、从独立性假设到联合概率链 朴素贝叶斯中使用的独立性假设为 P(x1,x2,x3,...,xn)=P(x1)P(x2)P(x3)...P(xn)(1)(1)P(x1,x2,x3,...,xn)=P(x1)P(x2)P(x3)...P(xn) P(x_1,x_2,x_3,...,x_n)=P(x_1)P(x_2)P(x_3)...P(x_n) \tag{1} 去掉独立性假设，有下面这个恒等...
学习笔记（3）——二元语法
strivequeen的博客
08-27 4105
语言模型 语言模型 指的是对语言现象的数学抽象。即给定一个句子 w，语言模型就是计算句子的出现概率 p(w) 的模型，而统计的对象就是人工标注而成的语料库。 数据稀疏 ：p(w) 的计算非常难，句子数量无穷无尽。即便是大型语料库，也只能“枚举”有限的数百万个句子。实际遇到的句子大部分都在语料库之外，意味着它们的概率都被当作0。 句子一般不重复，但单词是在重复使用，所以把句子表示成单词列表：w1w2⋯wkw_{1} w_{2} \cdots w_{k}w1​w2​⋯wk​，每个wt,t∈[1,k]w_{t},
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值