自然语言处理（七）——n元语法模型计算句子出现概率

最新推荐文章于 2026-05-08 05:21:49 发布
原创 最新推荐文章于 2026-05-08 05:21:49 发布 · 5.4k 阅读 · 23
标签
#自然语言处理
本文介绍了自然语言处理中的n元语法模型，用于计算句子出现概率。通过2元模型举例说明如何计算句子概率，并探讨了该模型在语音识别消除歧义和中文分词中的应用。

一、前言

区别于形式语言进行自然语言处理，语言模型在自然语言处理中不关心句子的语法，而是关心这个句子出现的概率，即使一个句子完全符合语法逻辑，但是在语料库中未出现，我们仍然可以认为这个句子出现的概率为0。目前计算句子的概率一般采取n元语法模型，因此接下来就引入n元语法模型

二、n元语法模型

介绍n元语法模型之前，要懂一个理想情况下计算概率的模型。对于一个由m个基元(“基元”可以为字、词或短语等,为了表述方便,以后我们只用“词”来通指，每个基元用w表示)构成的句子s=w_{1}w_{2}w_{3}...w_{m},其概率计算公式可以表示为

p(s) =p(w_{1})p(w_{2} | w_{1})p(w_{3} | w_{1}

最低0.47元/天 解锁文章
N元语言模型
WUTab的博客
03-11 5737
语言模型是干嘛的？语言模型可以计算任何句子的概率。例如，“I love you”的概率是多少？用数学语言表述，NN元语言模型(NN-gram model)根据一个词语的前N−1N-1个词语，来计算这个词语的概率。如果我们有了一个2元模型，“I love you”的概率就等于P(I)×P(love|I)×P(you|love)P(I)\times P(love|I)\times P(you|love)
基于二元语法模型的中文分词
weixin_34396103的博客
12-09 1243
基于二元语法模型的中文分词 一、基于二元语法模型分词的思想 下面是该程序的主要过程与思路： 1、针对语料库进行训练。 本程序使用的是北大提供的人民日报1998 年1 月的语料库，包含约110万词。由于采用二元语法模型，所以需要计算语料库中单个词的频率，以及每一个词后面出现另一个词的频率。 2、建立二元切分词图。 建立一个...
GD32F450/F470 TLI-LCD驱动移植LVGL实战：从寄存器配置到UI流畅显示
最新发布
weixin_30947043的博客
05-08 476
本文详细介绍了在GD32F450/F470 MCU上移植LVGL图形库的实战过程，重点解析了TLI-LCD驱动的寄存器配置、SDRAM显存优化及性能调优技巧。通过精确的时序参数设置和双缓冲机制，实现了480x800分辨率下的流畅UI显示，为工业HMI开发提供了实用解决方案。
统计语言模型
zakexu的专栏
05-09 2287
（一）简介 1.词向量传统表示： （1）One-hot Representation； （2）存在稀疏以及维度灾难的问题； （3）根据词向量无法判断词之间的相关性； 2.词向量近期表示： （1）Distributed representation；Word Representation；Word Embedding； （2）低维实数向量； （3）词义相似可以用空间距离来表示； 3
语言模型总结
学者的博客
10-16 1280
语言模型概述 语言模型是一个用于判断句子出现概率的数学模型。假设我们有一个句子s=(w1,w2,...,wm)s=(w_1,w_2,...,w_m)s=(w1​,w2​,...,wm​)。其中wiw_iwi​为句子中的第i个词语。根据古典概型，那么语言模型可表示为： P(s)=人类说过的所有句子中s的个数人类说过的所有句子个数 P(s) = \frac{人类说过的所有句子中s的个数}{人类说过的所有句子个数} P(s)=人类说过的所有句子个数人类说过的所有句子中s的个数​ 统计语言模型 显然，上述语言模型公
统计自然语言处理-N元语法模型概念简述
hei653779919的博客
11-24 1987
统计自然语言处理—N元语法模型简述一、N元语法的引出问题1：在一段文本中，如何计算某个句子出现的概率？问题2：对于某个规模大小为L的词表而言，某个词w~i~的历史可能出现的情况有L^i-1^大小，如何缩小计算规模？问题3：能否举一个例子来计算？ 一、N元语法的引出 问题1：在一段文本中，如何计算某个句子出现的概率？ A: 一个句子，是由多个基元所构成，其中基元包括字、词、短语等等。 B：对于句子中...
揭秘语言模型：如何计算句子的概率与文法转换
anananajiushiwo的博客
10-29 1399
👇热门内容👇新书购买《Python实用小工具开发教程》
统计自然语言处理——n元语法（马尔可夫模型）小结
felicitia的专栏
02-29 1万+
终于把书看到传说中重要的第六章了。。。 看完第六章开始后悔之前花那么多时间看前四章内容了。。看了也忘掉了。。什么困惑度啊什么的一堆概念还是要翻一翻。。之前总怕不仔细看后面的看不懂。。结果重要的第五章第六章反而看的比前面愉快了许多~主要还是概率的知识，几乎都是条件概率，条件概率公式、全概率公式和贝叶斯公式用的挺多，当然还有独立性。。下面不废话了。。具体说一下。。 【心得及问题】
NLP：语言模型与n元语法
Codefmeister's BLOG
12-16 916
语言模型 前言 DCP用到了Transformer，其很多实现的Motivation都来自于Sq2Sq的启发。所以重新回顾学习语言模型。 Reference: 《Dive into Deep Learning》 语言模型 语言模型是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。 我们可以把一段自然语言文本看做一段离散的时间序列。假设一段长度为T的文本中的词依次为w1,w2,...,wTw_1,w_2,...,w_Tw1​,w2​,...,wT​， 那么在离散的时间序列中，wt(1≤t≤T
NLP | 自然语言处理 - 语法解析（Parsing, and Context-Free Grammars）
热门推荐
Allan的专栏
07-12 7万+
在自然语言学习过程中，每个人一定都学过语法，例如句子可以用主语、谓语、宾语来表示。在自然语言的处理过程中，有许多应用场景都需要考虑句子的语法，因此研究语法解析变得非常重要。语法解析有两个主要的问题，其一是句子语法在计算机中的表达与存储方法，以及语料数据集；其二是语法解析的算法。这也是本章将要讨论的内容。
N元语法模型（详解）
m0_70832728的博客
09-17 2732
马尔可夫模型（Markov Model）是一种统计模型，广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。——
语言模型1（N-Gram）：进行NLP的基础
best_of_times的博客
09-21 1678
自然语言处理（natural language processing，NLP）是近年来发展十分迅速的一门涵盖自然语言学、数学与计算机科学的交叉性学科，研究的是在人与人交际中以及人与计算机交际中的语言问题。在现今社会中应用十分频繁，其中就有我们日常使用的语音识别输入、中英文翻译等。它不仅是社会需求十分巨大的应用技术，也是一门具有非常重要科学意义的自然科学。 要掌握NLP，我们需要有概率论、信息论等...
NLP之语言模型
miner_zhu的博客
09-16 1万+
语言模型（language model, LM）在自然语言处理中占有重要的地位，尤其在基于统计模型的语音识别、机器翻译、汉语自动分词和句法分析等相关研究中得到了广泛应用。目前主要采用的是n元语法模型（n-gram model），这种模型构建简单、直接，但同时也因为数据缺乏而必须采取平滑（smoothing）算法。 接下来主要介绍n元语法的基本概念和几种常用的数据平滑方法。 目录 n元语法 ...
自然语言处理总复习（七）—— 概率上下文无关文法
Victayria的博客
10-28 3074
自然语言处理总复习（七）—— 概率上下文无关文法一、背景介绍（一）问题提出（二）上下文无关文法（CFG）二、概率上下文无关文法（PCFG）（一）定义（二）符号定义（三）应用举例1. 举例2. 规则的概率估计Penn树库（四）PCFG的基本问题1. 给定一个语法，如何计算一个句子的概率？P(w1m∣G)P(w_{1m}|G)P(w1m​∣G)（1）相关定义（2）利用内部概率计算句子概率a）内部算法 —— 基于内部概率的动态规划算法b）内部算法 —— 举例（3）利用外部概率计算句子概率2. 已知语法，如何计算一
语言模型和n元语法
Torero_lch的博客
08-13 1329
语言模型定义 语言模型用来构建字符串s的概率分布，即一个句子出现的概率。考虑句子中词语的联系，其句子出现的概率计算公式可以表示为： 认为第i个词出现的概率是由前面i-1个历史词决定的，这里使用频率来估计概率（这种估计概率值的方法称为极大似然估计，MLE）。在这种情况下，当i较大时，i-1个历史词的组合方式就很多，我们必须考虑所有i-1个历史词的所有组合方式和出现情况。假设词汇集大小1...
自然语言处理之n元语法模型
BlowfishKing的博客
10-16 3350
一个语言模型通常构建为字符串s的概率分布p(s)，这里p(s)试图反映的是字符串s作为一个句子出现的频率。例如，在一个人所说的话中每100个句子里面大约有一句是Okay，则可以认为p(Okay)约等于0.01。而对于句子“An apple ate the chicken”我们可以认为其概率是0，因为几乎没有人会说这样的句子。需要注意的是，与语言学中不同，语言模型与句子是否合乎语法是没有关系的，即使
自然语言处理（NLP）
weixin_55245206的博客
07-01 9430
NLP（Nature Language Processing，自然语言处理）是计算机学科及人工智能领域一个重要的子学科，它主要研究计算机如何处理、理解及应用人类语言。所谓自然语言，指人说的话、人写的文章，是人类在长期进化过程中形成的一套复杂的符号系统（类似于C/Java等计算机语言则称为人造语言）。以下是关于自然语言处理常见的定义：自然语言处理还有其它一些名称，例如：自然语言理解（Natural Language Understanding），计算机语言学（Computational Linguistics
n-gram语言模型——句子概率分布计算与平滑
十一月廿七风雨大作
11-11 1万+
语言模型（Language Model, LM）在自然语言处理（NLP）领域扮演着核心角色，特别是在统计模型驱动的汉语自动分词和句法分析等领域。目前，广泛采用的是N-gram语法模型，这种模型以其构建的简便性和直观性而著称，但同时也因数据稀疏性问题而不得不使用平滑（Smoothing）技术。
NLP | 自然语言处理 - 考虑词汇的语法解析（Lexicalized PCFG）
Allan的专栏
08-14 1万+
NLP | 自然语言处理 - 语法解析（Parsing, and Context-Free Grammars） 这一章我们讲到了上下文无关语法（PCFG - Probabilistic Context-Free Grammar）的解析方法。本章将在此基础上扩展，讨论更深入的PCFG算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值