自然语言处理 (第5课 N元文法模型）

本文详细介绍了n元语法模型的原理与Python实现。该模型基于马尔可夫假设，通过统计连续词序列的概率进行语言建模。文章重点阐述了6种平滑算法（拉普拉斯、加K、古德-图灵、Kneser-Ney、插值和回退）以解决零概率问题，并实现了字符级和子词级模型处理未登录词。实验部分展示了不同n值和平滑方法的效果，包括困惑度评估和文本生成示例。代码支持多种分析功能如词汇分布可视化、OOV率统计等，为自然语言处理任务提供了灵活的概率语言建模工具。

马尔可夫模型（Markov Model）是一种统计模型，广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。——

语言模型    在统计自然语言处理中语言模型是很重要的一块，常用的语言模型是n元语法模型，当然现在比较流行的还有神经网络语言模型。n元语法模型需要额外的平滑处理，而神经网络语言模型则不必，它自带平滑效果。n元语法    n元语法（n-gram）是NLP中很重要的统计语言模型，简单来说就是计算某个句子出现的概率，比如“我今天上班迟到了”这句话在整个语言下的概率，一般我们会通过一个大的语料库来进行统计

编译原理复习第一天

CFG是基于规则的NLP（自然语言处理）的一种方法。 CFG是什么 CFG的英文全称context free grammar,中文叫上下文无关文法 CFG是一组替换规则,例如：A->B C; B->E F; E->e;… A->B C表示变量A可以被变量B和变量C替换，E->e表示变量E可以被最终的值e替换。e不是变量，不可再被替换了。 CFG主要作用是验证一个输入字符串input，是否符合某个文法G。与正则表达式比较像。但是比正则表达式功能更强大，能表达非常复杂的文.

专栏介绍：本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录，不仅仅是课程笔记噢～ 如果感兴趣的话，就和我一起入门NLP吧???? 目录语言模型基本概念语言模型参数估计参数的数据平滑语言模型性能评价语言模型应用 语言模型基本概念 语言模型的基本思想: 句子S=w1,w2,…,wn 的概率 p(S) 刻画句子的合理性 对语句合理性的判断: 规则法：判断是否合乎语法、语义（语言学定性分析） 统计法： 通过可能性（概率）的大小来判断（数学定量计算） 语言模型结构: 说明： w

本文通过Python代码实战，系统梳理了自然语言处理（NLP）从N元文法到BERT的核心模型演进历程。涵盖统计语言模型、神经网络语言模型、Word2Vec、注意力机制、Transformer及BERT等关键技术，每个阶段均提供可修改的代码示例，帮助读者深入理解NLP技术发展脉络与应用实践。

语言模型（language model, LM）在自然语言处理中占有重要的地位，尤其在基于统计模型的语音识别、机器翻译、汉语自动分词和句法分析等相关研究中得到了广泛应用。目前主要采用的是n元语法模型（n-gram model），这种模型构建简单、直接，但同时也因为数据缺乏而必须采取平滑（smoothing）算法。 接下来主要介绍n元语法的基本概念和几种常用的数据平滑方法。 目录 n元语法 ...

自然语言处理（natural language processing，NLP）是近年来发展十分迅速的一门涵盖自然语言学、数学与计算机科学的交叉性学科，研究的是在人与人交际中以及人与计算机交际中的语言问题。在现今社会中应用十分频繁，其中就有我们日常使用的语音识别输入、中英文翻译等。它不仅是社会需求十分巨大的应用技术，也是一门具有非常重要科学意义的自然科学。 要掌握NLP，我们需要有概率论、信息论等...

终于把书看到传说中重要的第六章了。。。 看完第六章开始后悔之前花那么多时间看前四章内容了。。看了也忘掉了。。什么困惑度啊什么的一堆概念还是要翻一翻。。之前总怕不仔细看后面的看不懂。。结果重要的第五章第六章反而看的比前面愉快了许多~主要还是概率的知识，几乎都是条件概率，条件概率公式、全概率公式和贝叶斯公式用的挺多，当然还有独立性。。下面不废话了。。具体说一下。。 【心得及问题】

NLP学习笔记（5）——语言模型1. 基本概念1.1 概念导入1.2 划分等价类的方法——n元文法模型（n-gram）1.3 概率计算1.4 语言模型的应用1.4.1 音字转换问题1.4.2 汉语分词问题2. 参数估计2.1 最大似然估计2.2 数据平滑2.2.1 前置知识2.2.2 数据平滑的几种方法2.2.2（1）加1法（Additive smoothing） 1. 基本概念 1.1 概念导入 大规模的语料库的出现为自然语言统计处理方法的实现提供了可能，基于大规模的语料库和统计方法，我们可以： 发现语

NLP学习之旅——语言模型第五章 语言模型5.1基本概念5.2参数估计5.3数据平滑5.4语言模型的自适应5.5语言模型应用举例 第五章 语言模型 本文是对所学内容做总结，链接: 中国科学院大学-自然语言处理-2018 5.1基本概念 n元文法（n-gram）模型 5.2参数估计 5.3数据平滑 （1）加1法（Additive smoothing） （2）减值法/折扣法（Discounting） 其中减值法主要包括四种方法：Good Turing估计、Back-off（后备后退方法）、绝对法/减值法（Abs

介绍了常见语言模型，包括n元文法和前馈神经网络

根据语言样本估计出的概率分布P就称为语言L的语言模型。

     在介绍N-gram模型之前，让我们先来做个香农游戏（Shannon Game）。我们给定一个词，然后猜测下一个词是什么。当我说“艳照门”这个词时，你想到下一个词是什么呢？我想大家很有可能会想到“陈冠希”，基本上不会有人会想到“陈志杰”吧。N-gram模型的主要思想就是这样的。   对于一个句子T，我们怎么算它出现的概率呢？假设T是由词序列W1,W2,W3,…Wn组成的，那么P(T)=P(W1W2W3Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1)   但是这种

N-Gram N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念。主要有两个重要应用场景： （1）人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。 （2）用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。 习惯上，1-gram叫unigram，2-gram称为bigram，3-gram是trigram。还有four-gram、five-gram等，不过大于n>5的应用很少见。常用的是Bi-gram (N...

各位小伙伴们大家好,在接下来的文章中我们将讲述一下什么是语言模型,以及语言模型上的应用,在完善之后我们将会简单的讲解一下语言模型的性能评估,这三点将是这一篇文章的主要内容.在阅读这篇文章之前,我希望大家可以已经有以下的知识积累作为基础,像是概率论里的基本概念,比如最大似然估计,贝叶斯分类,贝叶斯决策理论等等,甚至是一些包括信息论的简单基本概念,比如信息熵等,并且如果能对简单的形式语言可以理解就更加...

- 1.N元文法模型 1.1N元文法介绍 基于统计的方法理解一句话，就是要从一句话的每个位置全部候选字中选择一个最可能的句子，我们假定一个字只与前面的N-1个字有关，若没有N-1个音就补以空音。这种N-1阶的马尔可夫模型，在语音理解中又特别地被称为N元文法模型(N-gramModel)。 N元统计计算语言模型的思想是：一个单词的出现与其上下文环境中...

n元语言模型