NLP从零开始------3.文本基础处理之语料库

       1.语料库概述

        语料库是为某一个或多个应用而专门收集的、有一定结构的、有代表性的、可以被计算机程序检索的、具有一定规模的语料的集合。

         其实语料库的本质就是经过科学取样和加工的大规模电子文本库。对于语料库来说有三个显著特征：

        1.语料库中存放的是真实出现过的语言材料。

        2. 语料库是以计算机为载体，承载语言知识的基础资源。

        3.语料库是对真实语料进行加工、分析和处理的资源。

        任何一个信息处理系统都离不开语料库的支持，在nlp中更是如此。尽管语料库在不同的nlp系统中所起到的作用不同，但是却在不同层面上共同构成了各种nlp方法赖以实现的基础。 

2.语料库常见用处

        语料库包含的语言词汇、语法结构、语义和语用信息为语言学研究和NLP研究提供了大量的资料来源。以下是常见的运用领域：

        1.语言研究：语料库为语言学研究提供了丰富的语言材料，在句法分析、词法分析、语言理论及语言史研究这些领域中都发挥了重要作用。

        2.编纂工具参考书籍：一些对语言教学有重要影响的词典和语法书均是在语料库的基础上编写的。

        3.语言教学：在语言教学中，语料库可以帮助减少课堂上学习的语言与实际使用的语言之间的差距，发现过去被忽略的语言规律，能够更准确地理解一些词语在实际交际中的意义和用法，发现学习者使用语言时的一些问题。
        4. NLP：语料库按照一定的要求加工处理后可以应用到NLP的各个层面的研究中。语料库在词层面上进行分词、词性标注后，可以用于词法分析、拼写检查、全文检索、词频统计、名词短语的辩识和逐词机器翻译等。

3.语料库类型与构建原则

(1).语料库类型

        语料库的类型是根据他的研究目的和用途划分的。

        按照语料库结构划分：平衡结构语料库与自然随机结构语料库。

        平衡结构语料库：平衡结构语料库的着重点是语料的代表性和平衡性，需要预先设计语料库中语料的类型，定义好每种类型语料所占的比例并按这种比例去采集组成语料库。

         自然随机语料库：自然随机结构的语料库则是按照某个原则随机去收集组成语料。