本文介绍了李宏毅教授的《DLHLP》课程中关于语言模型的内容，从N-gram LM的局限性出发，探讨了连续语言模型和基于神经网络的LM。内容涵盖N-gram的细节、连续LM的概念，以及如何利用NN-based LM提升语音识别，特别是RNN-based LM在处理长依赖关系的优势。同时，文章讨论了Shallow Fusion、Deep Fusion和Cold Fusion在语音识别中结合语言模型的不同方法。
视频链接：https://www.youtube.com/watch?v=dymfkWtVUdo&list=PLJV_el3uVTsO07RpBYFsXg-bN5Lu0nhdG&index=8&ab_channel=Hung-yiLee
课件链接：https://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/ASR3.pdf
1. Language Model
LM的作用是预测token sequence出现的概率。对于输出文本的模型，LM通常都是很有帮助的。
N-gram LM 有smooth的问题，然后，引出Continuous LM，再进一步扩展到Deep Learning based LM.
2. N-gram LM
传统的LM是N-gram LM，下面介绍一下N-gram LM的技术细节。
2.1 N-gram细节
常见的N-gram有2-gram，3-gram，。。。
扫一扫
1992
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
