（1 NLTK学习笔记

NLTK学习笔记

（1 NLTK学习笔记

1 布朗语料库
导入：

Import nltk
From nltk.corpus import brown

调用语料库中所有的类别：

Print(brown.categories())

在所有的类别中挑选出某几种类别：

Genres=[‘’]
Whwords=[‘’]

使用for循环来进行迭代并优化代码行数：

for I in range(0,len(genres)):genre=genre[i]
print()
print(“analysing’”+genre+”’wh words”)
genre_text = brown.words(categories=genre)

NLTK库的FreqDist函数

fdist = nltk. FreqDist(genre_text)    //简短声明
for wh in whwords:                    //得到每个词的个数
print(wh+’+’,fdist[wh],end=’’)

2 网络和聊天文本
导入库和webtext语料库

import nltk
from nltk.corpus import webtext
print(webtext. fields())

计算文件频率分布

fileid = ‘name.txt’
wbt_words = webtext.words(fileid)
fdist=nltk.FreqDist(wbt_words)

最长出现的单词，和其计数：

print(‘max”’,fdist.max(),’”:’),
fdist[fdist.max()])

fdist.N()函数得到频率分布包中不同单词的计数。
fdist.most_common()找出语料库中最常见的n个单词

mac中多版本python处理方式
python2 -m pip install xxx 或 python3 -m pip install xxx