本文探讨了统计语言模型中n-grams的概念及其应用，包括unigram、bigram及trigram等，并通过《物种起源》的例子展示了1-gram与2-gram的概率分布。
1. n-grams
统计语言模型研究的是一个单词序列出现的概率分布（probability distribution）。例如对于英语，全体英文单词构成整个状态空间（state space）。
- 边缘概率分布 p(Xt=k) 称为 unigram；
- 使用一阶马尔科夫模型（Markov model），则 p(Xt=k|Xt−1=j) 又称为 bigram；
- 类似地，基于二阶马尔科夫模型，p(Xt=k|Xt−1=j),Xt−2=i 称为 trigram；
下图为达尔文著名的《物种起源》英文版字母 {a,…,z,−}（−：表示空格）的 1-gram 和 2-gram（表格）
扫一扫
7435
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
