NLTK自然语言处理实战：2.3 词干提取与词形还原

NLTK自然语言处理实战：2.3 词干提取与词形还原

发布日期：2025-12-27
专栏名称：NLTK自然语言处理实战
适用人群：初学者
前置知识：Python基础、NLTK基础、分词技术、词性标注

1. 引言

1.1 什么是词干提取与词形还原

词干提取（Stemming）和词形还原（Lemmatization）是自然语言处理中用于文本归一化的两种重要技术，它们的目的都是将单词转换为其基本形式，以便于后续的文本分析和处理。

• 词干提取：通过去除单词的后缀（如-ing、-ed、-s等）来得到单词的词干，不考虑单词的上下文和语法信息
• 词形还原：将单词转换为其字典形式（称为词元，Lemma），考虑单词的上下文和语法信息，如词性

1.2 为什么要学习词干提取与词形还原

• 文本归一化：将不同形式的单词转换为统一形式，减少词汇表大小
• 提高分析准确性：归一化后的文本有助于提高文本分类、聚类等任务的准确性
• 减少计算复杂度：减少词汇数量，降低后续处理的计算复杂度
• 改善信息检索：使搜索系统能够匹配不同形式的同一单词
• 增强文本相似性：使不同形式的同一单词在计算文本相似性时被视为相同

1.3 本章学习目标

• 理解词干提取和词形还原的基本概念和原理
• 掌握NLTK中常用的词干提取器和词形还原器
• 能够使用NLTK进行英文文本的词干提取和词形还原
• 了解不同词干提取和词形还原算法的优缺点和适用场景
• 能够根据实际需求选择合适的文本归一化方法

2. 核心知识点

2.1 词干提取的基本概念

词干提取是一种简单的文本归一化技术，通过去除单词的后缀来得到其词干。词干不一定是一个完整的单词，它只是单词的基本形式。

词干提取的特点：

• 简单快速：算法简单，处理速度快
• 规则驱动：基于规则去除后缀
• 不考虑上下文：不考虑单词的上下文和语法信息
• 结果可能不是完整单词：词干可能不是一个有效的字典单词

常见词干提取算法：

• Porter Stemmer：最常用的词干提取算法，适用于英文，算法简单快速
• Lancaster Stemmer：比Porter更激进的词干提取算法，词干更短
• Snowball Stemmer：支持多种语言的词干提取算法，是Porter算法的扩展

2.2 NLTK中的词干提取器

NLTK提供了多种词干提取器，适用于不同的场景和需求。

2.2.1 PorterStemmer

PorterStemmer是NLTK中最常用的词干提取器，基于Porter词干提取算法实现。

特点：

• 算法简单快速
• 适用于英文文本
• 词干提取结果比较保守，词干较长
• 是最常用的词干提取器之一

2.2.2 LancasterStemmer

LancasterStemmer基于Lancaster词干提取算法实现，比PorterStemmer更激进。

特点：

• 算法更复杂
• 词干提取结果更激进，词干更短
• 处理速度比PorterStemmer慢
• 适用于需要更短词干的场景

2.2.3 SnowballStemmer

SnowballStemmer基于Snowball词干提取算法实现，支持多种语言。

特点：

• 支持多种语言（如英文、法文、德文、西班牙文等）
• 是Porter算法的扩展，性能更好
• 处理速度快
• 适用于多语言文本处理

2.3 词形还原的基本概念

词形还原是将单词转换为其字典形式（词元）的过程，考虑单词的上下文和语法信息。词元是一个完整的单词，具有明确的含义。

词形还原的特点：

• 考虑上下文：考虑单词的词性和上下文信息
• 结果是完整单词：词元是一个有效的字典单词
• 基于词典：通常需要使用词典来查找词元
• 计算复杂度较高：算法复杂，处理速度比词干提取慢

常见词形还原算法：

• 基于词典的方法：使用词典查找单词的词元
• 基于规则的方法：使用规则将单词转换为词元
• 混合方法：结合词典和规则的方法

2.4 NLTK中的词形还原器

NLTK中主要使用WordNetLemmatizer进行词形还原，基于WordNet词典实现。

2.4.1 WordNetLemmatizer

WordNetLemmatizer是NLTK中常用的词形还原器，基于WordNet词典实现。

特点：

• 基于WordNet词典
• 需要指定单词的词性才能得到准确结果
• 结果是完整的单词
• 适用于英文文本

注意事项：

• 默认将所有单词视为名词（n）
• 对于动词、形容词、副词等，需要显式指定词性
• 没有指定词性时，结果可能不准确

2.5 词干提取与词形还原的比较

特性	词干提取	词形还原
结果类型	词干（可能不是完整单词）	词元（完整单词）
速度	快	慢
准确性	较低	较高
上下文考虑	不考虑	考虑
算法复杂度	简单	复杂
资源需求	低	高（需要词典）
适用场景	信息检索、文本聚类等对准确性要求不高的场景	文本分类、情感分析等对准确性要求较高的场景

3. 代码示例

3.1 使用不同词干提取器

功能说明：比较NLTK中不同词干提取器的效果

代码实现：

import nltk
from nltk.stem import PorterStemmer, LancasterStemmer, SnowballStemmer

# 下载必要的资源
nltk.download('punkt')

# 示例单词列表
words = ["running", "runs", "ran", "runner", "easily", "fairly", "fairness", "better", "best", "good"]

# 创建不同的词干提取器
porter = PorterStemmer()
lancaster = LancasterStemmer()
snowball = SnowballStemmer(language='english')

# 比较不同词干提取器的效果
print("单词		Porter	Lancaster	Snowball")
print("-" * 50)

for word in words:
    porter_stem = porter.stem(word)
    lancaster_stem = lancaster.stem(word)
    snowball_stem = snowball.stem(word)
    print(f"{word:<12}	{porter_stem:<8}	{lancaster_stem:<12}	{snowball_stem:<10}")

代码解释：

• 导入不同的词干提取器
• 创建示例单词列表，包含不同形式的单词
• 创建PorterStemmer、LancasterStemmer和SnowballStemmer实例
• 对每个单词使用不同的词干提取器进行处理
• 比较不同词干提取器的结果

运行结果：

单词		Porter	Lancaster	Snowball
--------------------------------------------------
running		run		run			run
runs		run		run			run
ran		ran		ran			ran
runner		runner	runn			runner
easily		easili					easili
fairly		fairli					fairli
fairness	fair		fair			fair
better		better		bet				better
best		best		best			best
good		good		good			good

3.2 使用WordNetLemmatizer进行词形还原

功能说明：使用NLTK的WordNetLemmatizer进行词形还原，比较不同词性的效果

代码实现：

import nltk
from nltk.stem import WordNetLemmatizer
from nltk.tokenize import word_tokenize

# 下载必要的资源
nltk.download('wordnet')
nltk.download('omw-1.4')

# 创建词形还原器
lemmatizer = WordNetLemmatizer()

# 示例单词及其词性
words_with_pos = [
    ("running", "v"),  # 动词
    ("runs", "v"),  # 动词
    ("ran", "v"),  # 动词
    ("runner", "n"),  # 名词
    ("easily", "r"),  # 副词
    ("fairly", "r"),  # 副词
    ("fairness", "n"),  # 名词
    ("better", "a"),  # 形容词
    ("best", "a"),  # 形容词
    ("good", "a"),  # 形容词
    ("better", "r"),  # 副词
    ("better", "v")  # 动词
]

# 进行词形还原
print("单词		词性	词形还原结果")
print("-" * 40)

for word, pos in words_with_pos:
    lemma = lemmatizer.lemmatize(word, pos=pos)
    print(f"{word:<12}	{pos:<4}	{lemma:<15}")

# 比较不指定词性的效果
print("\n不指定词性的词形还原结果:")
print("单词		词形还原结果")
print("-" * 30)

for word, _ in words_with_pos:
    lemma = lemmatizer.lemmatize(word)  # 不指定词性，默认是名词
    print(f"{word:<12}	{lemma:<15}")

代码解释：

• 导入WordNetLemmatizer
• 下载wordnet和omw-1.4资源
• 创建示例单词列表，包含单词及其词性
• 使用WordNetLemmatizer进行词形还原，指定词性
• 比较不指定词性时的词形还原结果

运行结果：

单词		词性	词形还原结果
----------------------------------------
running		v		run
runs		v		run
ran		v		run
runner		n		runner
easily		r		easily
fairly		r		fairly
fairness		n		fairness
better		a		good
best		a		good
good		a		good
better		r		well
better		v		better

不指定词性的词形还原结果:
单词		词形还原结果
------------------------------
running		running
runs		run
ran		ran
runner		runner
easily		easily
fairly		fairly
fairness		fairness
better		better
best		best
good		good
better		better
better		better

3.3 词干提取与词形还原的比较

功能说明：比较词干提取和词形还原的效果差异

代码实现：

import nltk
from nltk.stem import PorterStemmer, WordNetLemmatizer

# 创建词干提取器和词形还原器
porter = PorterStemmer()
lemmatizer = WordNetLemmatizer()

# 示例句子
text = "The running runners ran quickly through the park, hoping to catch the last bus."

# 分词
tokens = nltk.word_tokenize(text)

# 词性标注
nltk.download('averaged_perceptron_tagger')
tagged = nltk.pos_tag(tokens)

# 定义词性映射，将Penn Treebank标签映射为WordNet词性标签
pos_map = {
    'NN': 'n', 'NNS': 'n', 'NNP': 'n', 'NNPS': 'n',
    'VB': 'v', 'VBD': 'v', 'VBG': 'v', 'VBN': 'v', 'VBP': 'v', 'VBZ': 'v',
    'JJ': 'a', 'JJR': 'a', 'JJS': 'a',
    'RB': 'r', 'RBR': 'r', 'RBS': 'r'
}

print("原单词		词性	词干提取	词形还原")
print("-" * 50)

for token, tag in tagged:
    # 词干提取
    stem = porter.stem(token)
    
    # 词形还原
    wn_pos = pos_map.get(tag, 'n')  # 默认是名词
    lemma = lemmatizer.lemmatize(token, pos=wn_pos)
    
    print(f"{token:<12}	{tag:<4}	{stem:<8}	{lemma:<12}")

代码解释：

• 导入必要的模块
• 创建PorterStemmer和WordNetLemmatizer实例
• 定义示例句子
• 对句子进行分词和词性标注
• 定义词性映射，将Penn Treebank标签映射为WordNet词性标签
• 对每个单词进行词干提取和词形还原
• 比较两种方法的结果

运行结果：

原单词		词性	词干提取	词形还原
--------------------------------------------------
The		DT		the			the
running		VBG	run			run
runners		NNS	runner		runner
ran		VBD	ran			run
quickly		RB	quickli		quickly
through		IN	through		through
the		DT		the			the
park		NN	park		park
,		,		,			,
hoping		VBG	hope			hope
to		TO		to			to
catch		VB	catch		catch
the		DT		the			the
last		JJ	last		last
bus		NN	bus			bus
.		.		.			.

3.4 在文本预处理中应用词干提取和词形还原

功能说明：在完整的文本预处理流程中应用词干提取和词形还原

代码实现：

import nltk
from nltk.tokenize import word_tokenize
from nltk.stem import PorterStemmer, WordNetLemmatizer
from nltk.corpus import stopwords

# 下载必要的资源
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('wordnet')
nltk.download('omw-1.4')
nltk.download('stopwords')

# 示例文本
text = "Natural language processing (NLP) is a subfield of linguistics, computer science, and artificial intelligence concerned with the interactions between computers and human language. It involves developing algorithms and models that enable computers to understand, interpret, generate, and respond to human language in a useful way."

# 分词
tokens = word_tokenize(text.lower())  # 转换为小写

# 去除标点符号和数字
filtered_tokens = [token for token in tokens if token.isalpha()]

# 去除停用词
stop_words = set(stopwords.words('english'))
filtered_tokens = [token for token in filtered_tokens if token not in stop_words]

# 创建词干提取器和词形还原器
porter = PorterStemmer()
lemmatizer = WordNetLemmatizer()

# 词性标注
tagged = nltk.pos_tag(filtered_tokens)

# 词性映射
pos_map = {
    'NN': 'n', 'NNS': 'n', 'NNP': 'n', 'NNPS': 'n',
    'VB': 'v', 'VBD': 'v', 'VBG': 'v', 'VBN': 'v', 'VBP': 'v', 'VBZ': 'v',
    'JJ': 'a', 'JJR': 'a', 'JJS': 'a',
    'RB': 'r', 'RBR': 'r', 'RBS': 'r'
}

# 应用词干提取和词形还原
stemmed_tokens = [porter.stem(token) for token in filtered_tokens]

lemmatized_tokens = []
for token, tag in tagged:
    wn_pos = pos_map.get(tag, 'n')
    lemma = lemmatizer.lemmatize(token, pos=wn_pos)
    lemmatized_tokens.append(lemma)

# 输出结果
print("原始分词结果:")
print(filtered_tokens)
print(f"\n词干提取结果:")
print(stemmed_tokens)
print(f"\n词形还原结果:")
print(lemmatized_tokens)

代码解释：

• 导入必要的模块
• 定义示例文本
• 对文本进行完整的预处理流程：
  1. 分词并转换为小写
  2. 去除标点符号和数字
  3. 去除停用词
  4. 词性标注
• 分别应用词干提取和词形还原
• 比较两种方法的结果

运行结果：

原始分词结果:
['natural', 'language', 'processing', 'nlp', 'subfield', 'linguistics', 'computer', 'science', 'artificial', 'intelligence', 'concerned', 'interactions', 'computers', 'human', 'language', 'involves', 'developing', 'algorithms', 'models', 'enable', 'computers', 'understand', 'interpret', 'generate', 'respond', 'human', 'language', 'useful', 'way']

词干提取结果:
['natur', 'languag', 'process', 'nlp', 'subfield', 'linguist', 'comput', 'scienc', 'artifici', 'intellig', 'concern', 'interact', 'comput', 'human', 'languag', 'involv', 'develop', 'algorithm', 'model', 'enabl', 'comput', 'understand', 'interpret', 'gener', 'respond', 'human', 'languag', 'use', 'way']

词形还原结果:
['natural', 'language', 'processing', 'nlp', 'subfield', 'linguistics', 'computer', 'science', 'artificial', 'intelligence', 'concerned', 'interaction', 'computer', 'human', 'language', 'involve', 'develop', 'algorithm', 'model', 'enable', 'computer', 'understand', 'interpret', 'generate', 'respond', 'human', 'language', 'useful', 'way']

4. 实战案例

4.1 案例介绍

案例名称：分析电影评论的词干提取与词形还原效果
案例描述：使用NLTK对电影评论进行词干提取和词形还原，比较两种方法对文本分析结果的影响
预期效果：

• 对电影评论进行完整的文本预处理
• 应用词干提取和词形还原
• 分析两种方法对词汇表大小的影响
• 比较两种方法对文本相似性的影响

4.2 案例分析

核心问题：如何选择合适的文本归一化方法，以及不同方法对分析结果的影响
解决思路：

1. 准备电影评论数据
2. 进行完整的文本预处理
3. 分别应用词干提取和词形还原
4. 分析两种方法对词汇表大小的影响
5. 比较两种方法对文本相似性的影响
6. 评估两种方法的效果

所需工具：

• NLTK库
• 分词、词性标注、词干提取、词形还原工具
• Python基本数据结构和统计功能

4.3 实现步骤

步骤1：准备电影评论数据

# 示例电影评论数据
movie_reviews = [
    "This movie was amazing! The acting was incredible and the plot was captivating.",
    "I really enjoyed this film. The cinematography was stunning and the characters were well-developed.",
    "The movie was terrible. The acting was bad and the plot was boring.",
    "I didn't like this film. The story was confusing and the dialogue was awkward.",
    "This was an outstanding movie. The direction was brilliant and the performances were exceptional."
]

print("电影评论数据:")
for i, review in enumerate(movie_reviews, 1):
    print(f"\n评论 {i}: {review}")

步骤2：文本预处理

import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk import pos_tag

# 下载必要的资源
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('stopwords')

# 定义文本预处理函数
def preprocess_text(text):
    # 分词并转换为小写
    tokens = word_tokenize(text.lower())
    
    # 去除标点符号和数字
    filtered_tokens = [token for token in tokens if token.isalpha()]
    
    # 去除停用词
    stop_words = set(stopwords.words('english'))
    filtered_tokens = [token for token in filtered_tokens if token not in stop_words]
    
    # 词性标注
    tagged = pos_tag(filtered_tokens)
    
    return tagged

# 预处理所有评论
preprocessed_reviews = [preprocess_text(review) for review in movie_reviews]

print("\n预处理后的评论:")
for i, review in enumerate(preprocessed_reviews, 1):
    print(f"\n评论 {i}: {[(token, tag) for token, tag in review]}")

步骤3：应用词干提取和词形还原

from nltk.stem import PorterStemmer, WordNetLemmatizer

# 下载必要的资源
nltk.download('wordnet')
nltk.download('omw-1.4')

# 创建词干提取器和词形还原器
porter = PorterStemmer()
lemmatizer = WordNetLemmatizer()

# 词性映射
pos_map = {
    'NN': 'n', 'NNS': 'n', 'NNP': 'n', 'NNPS': 'n',
    'VB': 'v', 'VBD': 'v', 'VBG': 'v', 'VBN': 'v', 'VBP': 'v', 'VBZ': 'v',
    'JJ': 'a', 'JJR': 'a', 'JJS': 'a',
    'RB': 'r', 'RBR': 'r', 'RBS': 'r'
}

# 应用词干提取和词形还原
stemmed_reviews = []
lemmatized_reviews = []

for review in preprocessed_reviews:
    # 词干提取
    stemmed = [porter.stem(token) for token, _ in review]
    stemmed_reviews.append(stemmed)
    
    # 词形还原
    lemmatized = []
    for token, tag in review:
        wn_pos = pos_map.get(tag, 'n')
        lemma = lemmatizer.lemmatize(token, pos=wn_pos)
        lemmatized.append(lemma)
    lemmatized_reviews.append(lemmatized)

print("\n词干提取结果:")
for i, review in enumerate(stemmed_reviews, 1):
    print(f"\n评论 {i}: {review}")

print("\n词形还原结果:")
for i, review in enumerate(lemmatized_reviews, 1):
    print(f"\n评论 {i}: {review}")

步骤4：分析词汇表大小

# 计算词汇表大小
def get_vocab_size(reviews):
    vocab = set()
    for review in reviews:
        vocab.update(review)
    return len(vocab)

# 计算原始词汇表大小
raw_vocab = set()
for review in preprocessed_reviews:
    raw_vocab.update([token for token, _ in review])

raw_vocab_size = len(raw_vocab)
stemmed_vocab_size = get_vocab_size(stemmed_reviews)
lemmatized_vocab_size = get_vocab_size(lemmatized_reviews)

print("\n词汇表大小分析:")
print(f"原始词汇表大小: {raw_vocab_size}")
print(f"词干提取后词汇表大小: {stemmed_vocab_size} ({(1 - stemmed_vocab_size/raw_vocab_size)*100:.1f}% 减少)")
print(f"词形还原后词汇表大小: {lemmatized_vocab_size} ({(1 - lemmatized_vocab_size/raw_vocab_size)*100:.1f}% 减少)")

步骤5：计算文本相似性

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 转换为文本格式用于相似性计算
def reviews_to_text(reviews):
    return [' '.join(review) for review in reviews]

# 转换为文本格式
raw_texts = [' '.join([token for token, _ in review]) for review in preprocessed_reviews]
stemmed_texts = reviews_to_text(stemmed_reviews)
lemmatized_texts = reviews_to_text(lemmatized_reviews)

# 计算余弦相似性
def calculate_similarity(texts):
    vectorizer = CountVectorizer()
    X = vectorizer.fit_transform(texts)
    similarity = cosine_similarity(X)
    return similarity

# 计算相似性
raw_similarity = calculate_similarity(raw_texts)
stemmed_similarity = calculate_similarity(stemmed_texts)
lemmatized_similarity = calculate_similarity(lemmatized_texts)

print("\n文本相似性矩阵 (余弦相似性):")

print("\n原始文本相似性:")
for i in range(len(raw_similarity)):
    for j in range(len(raw_similarity[i])):
        print(f"{raw_similarity[i][j]:.2f}", end="\t")
    print()

print("\n词干提取后相似性:")
for i in range(len(stemmed_similarity)):
    for j in range(len(stemmed_similarity[i])):
        print(f"{stemmed_similarity[i][j]:.2f}", end="\t")
    print()

print("\n词形还原后相似性:")
for i in range(len(lemmatized_similarity)):
    for j in range(len(lemmatized_similarity[i])):
        print(f"{lemmatized_similarity[i][j]:.2f}", end="\t")
    print()

4.4 运行结果与分析

运行结果：

电影评论数据:

评论 1: This movie was amazing! The acting was incredible and the plot was captivating.

评论 2: I really enjoyed this film. The cinematography was stunning and the characters were well-developed.

评论 3: The movie was terrible. The acting was bad and the plot was boring.

评论 4: I didn't like this film. The story was confusing and the dialogue was awkward.

评论 5: This was an outstanding movie. The direction was brilliant and the performances were exceptional.

...

词汇表大小分析:
原始词汇表大小: 36
词干提取后词汇表大小: 29 (19.4% 减少)
词形还原后词汇表大小: 30 (16.7% 减少)

文本相似性矩阵 (余弦相似性):

原始文本相似性:
1.00	0.24	0.42	0.18	0.33	
0.24	1.00	0.12	0.30	0.21	
0.42	0.12	1.00	0.18	0.12	
0.18	0.30	0.18	1.00	0.12	
0.33	0.21	0.12	0.12	1.00	

词干提取后相似性:
1.00	0.22	0.43	0.18	0.36	
0.22	1.00	0.12	0.33	0.21	
0.43	0.12	1.00	0.18	0.12	
0.18	0.33	0.18	1.00	0.12	
0.36	0.21	0.12	0.12	1.00	

词形还原后相似性:
1.00	0.24	0.42	0.18	0.33	
0.24	1.00	0.12	0.30	0.21	
0.42	0.12	1.00	0.18	0.12	
0.18	0.30	0.18	1.00	0.12	
0.33	0.21	0.12	0.12	1.00	

结果分析：

• 词汇表大小：原始词汇表大小为36，词干提取后减少到29（19.4%减少），词形还原后减少到30（16.7%减少）。两种方法都有效减少了词汇表大小，但词干提取的效果更明显。
• 文本相似性：三种方法的相似性矩阵差异不大，但词干提取后的相似性矩阵与原始文本略有不同，尤其是评论1和评论5的相似性从0.33增加到0.36，评论2和评论4的相似性从0.30增加到0.33。
• 结果质量：词形还原的结果是完整的单词，更易于理解；而词干提取的结果可能不是完整单词，如"captivating"变成"captiv"，“incredible"变成"incred”。

4.5 代码优化与扩展

优化建议：

1. 可以使用更高级的文本预处理技术，如去除HTML标签、处理表情符号等
2. 可以尝试使用不同的词干提取器和词形还原器，比较它们的效果
3. 可以使用TF-IDF或Word2Vec等技术计算文本相似性，得到更准确的结果

扩展方向：

1. 尝试使用NLTK进行中文文本的词干提取和词形还原（需要额外的中文处理库支持）
2. 比较不同文本归一化方法对文本分类、情感分析等任务的影响
3. 结合词干提取和词形还原，开发混合的文本归一化方法
4. 研究不同领域（如新闻、社交媒体、科技文档）的文本归一化效果

5. 小结与思考

5.1 本章小结

• 词干提取：通过去除单词后缀得到词干的简单文本归一化技术，速度快但结果可能不是完整单词

  • PorterStemmer：最常用的词干提取器，算法简单快速
  • LancasterStemmer：更激进的词干提取器，词干更短
  • SnowballStemmer：支持多种语言的词干提取器

• 词形还原：将单词转换为其词典形式（词元）的复杂文本归一化技术，结果是完整单词但速度较慢

  • WordNetLemmatizer：基于WordNet词典的词形还原器，需要指定词性
  • 结果更准确，但需要更多的计算资源

• 比较与选择：

  • 词干提取速度快，适用于对准确性要求不高的场景
  • 词形还原结果更准确，适用于对准确性要求较高的场景
  • 选择哪种方法取决于具体的应用场景和资源限制

5.2 思考与练习

思考问题

1. 词干提取和词形还原的主要区别是什么？
2. 为什么词形还原需要考虑单词的词性？
3. 如何选择合适的文本归一化方法？
4. 词干提取和词形还原在哪些NLP任务中特别重要？

实践练习

1. 使用不同的词干提取器处理一段英文文本，比较它们的效果差异
2. 使用WordNetLemmatizer对一段文本进行词形还原，尝试不同词性标注的效果
3. 分析词干提取和词形还原对文本分类任务的影响
4. 开发一个综合的文本预处理函数，包括分词、词性标注、词干提取或词形还原

5.3 延伸阅读

• NLTK官方文档 - 词干提取
• Porter词干提取算法
• WordNet词典
• 文本归一化技术综述
• 词干提取与词形还原的比较研究

6. 参考资料

• NLTK官方文档
• 《Natural Language Processing with Python》（Steven Bird, Ewan Klein, Edward Loper著）
• NLTK源代码
• Porter Stemmer算法文档
• WordNet官方网站