自然语言处理学习 nltk----分词

最新推荐文章于 2026-04-03 02:58:08 发布
原创 最新推荐文章于 2026-04-03 02:58:08 发布 · 1.6k 阅读 · 5 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#自然语言处理 #python #nltk #分词
本文深入探讨了NLTK库中五种不同的分词技术，包括直接分词、单词标点分割、Treebank单词分割、空格符号分割及PunktWordTokenizer的使用，对自然语言处理初学者和从业者理解文本预处理提供了实用指导。

 

1. nltk.word_tokenize ( text ) : 直接的分词，比如：“ isn't ” 被分割为 " is " 和 “ n't ”

 2. WordPunctTokenizer ( ) : 单词标点分割，比如：“ isn't ”被分割为" isn ", " ' " 和 " t "

     注意WordPunctTokenizer ( )的用法。

 3. TreebankWordTokenizer ( 宾夕法尼亚州立大学 Treebank 单词分割器）：比如：" isn't "被分割为" is " 和 " n't "

4. WhitespaceTokenizer() : 空格符号分割，就是split(' ')最简单的一个整体，没有被分割

 5. PunktWordTokenizer() :

这个有问题，emmmm，还没解决，先留个坑吧

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

    

NLTK：自然语言处理的利器
东海陈光剑的博客：禅与计算机程序设计艺术
04-27 592
1. 背景介绍 1.1 自然语言处理的崛起 自然语言处理（NLP）是人工智能领域的一个重要分支，它致力于让计算机理解和处理人类语言。近年来，随着深度学习技术的突破以及大规模文本数据的积累，NLP 领域取得了长足的进步，并在机器翻译、文本摘要、情感分析等方面取得了显著成果。
【自然语言处理】自然语言处理NLP概述及应用
weixin_51306394的博客
06-18 2855
自然语言处理（Natural Language Processing，简称NLP）是一门集计算机科学、人工智能以及语言学于一体的交叉学科，致力于让计算机能够理解、解析、生成和处理人类的自然语言。它是人工智能领域的一个关键分支，旨在缩小人与机器之间的交流障碍，使得机器能够更有效地识别并响应人类的自然语言指令或内容。
nltk学习之统计词频和分词nltk.word_tokenize nltk.FreqDist
机器学习初学者必看，关注我，一起了解机器学习
11-15 3362
分词 （1）可以使用split()函数 import nltk import numpy as np import re from nltk.corpus import stopwords #1 分词1 text = "Sentiment analysis is a challenging subject in machine learning.\ People express thei...
学习笔记 - 精通Python自然语言处理 - 字符串操作
Always On The Way
03-10 1406
第一章 字符串操作 1.1 切分 nltk模块nltk.tokenize 1.1.1 将文本切分为语句 sent_tokenize()函数，该函数对PunktSentenceTokenizer类实例化。 import nltk from nltk.tokenize import sent_tokenize text = "Welcome readers. I hope you find it i...
电子技术——MOS管小信号模型的工程应用与优化设计
最新发布
weixin_33670786的博客
04-03 2289
本文深入探讨了MOS管小信号模型在电子技术中的工程应用与优化设计。从核心原理到实际应用，详细解析了跨导gm、偏置点选择、尺寸优化等关键因素，并提供了高频应用和误差补偿的实用技巧。通过案例分析，展示了如何通过精确计算和补偿技术提升放大器性能，为工程师提供了一套完整的MOS管小信号模型优化方案。
NLP之文本预处理
数据之旅的点点滴滴
10-10 5870
对于自然语言处理的话，预处理其实就是有那么几个固定的步骤： 分词，英文的话全部转换为小写，去除标点符号，提取词干，出去不是英文的单词，出去特殊的符号，修正错别字。 1.分词 （Tokenization） Token 是符号，包括了单词还有标点符号两种。 Tokenization 就是把一句话或者一段话分解成单个的单词和标点。比如 I like yourcat. 这句话分词之后就变成了 ['I...
一起来学自然语言处理----NLTK数据包加载以及字符串操作
Itsme_MrJJ的博客
03-22 3264
1、安装nltk数据包 2、字符串的切分 3、标点、大小写、停用词标准化 4、替换与矫正 5、相似度度量（编辑距离算法、Jaccard系数和Jaccard距离）
nltk.sent_tokenize() nltk.word_tokenize()利用分句子，分词，
Jiashilin
07-02 2万+
分词 nltk.sent_tokenize(text) #按句子分割 nltk.word_tokenize(sentence) #分词 nltk的分词是句子级别的，所以对于一篇文档首先要将文章按句子进行分割，然后句子进行分词： http://www.pythontip.com/blog/post/10012/ ...
Python NLTK库【NLP核心库】全面解析
记录点滴
04-20 3697
NLTK是 Python 中用于自然语言处理（NLP）的核心库，提供了丰富的文本处理工具、算法和语料库。文本预处理（分词、词干提取、词形还原）句法分析（词性标注、分块、句法解析）语义分析（命名实体识别、情感分析）语料库管理（内置多种语言语料库）机器学习集成（分类、聚类、信息抽取）加载本地文本文件corpus_root = './my_corpus' # 本地文件夹路径file_pattern = r'.*\.txt' # 匹配所有txt文件# 访问语料库内容。
Python自然语言处理：NLTK入门指南
BXA
05-14 1万+
自然语言处理（Natural Language Processing，NLP）是指计算机处理人类语言的领域。它是一门多学科交叉的学科，将计算机科学、人工智能、语言学等诸多学科的理论和方法融合在一起，将人类语言转化为计算机所能理解的形式，实现对人类语言的自动处理、理解和生成。NLP可以应用到很多方面，比如语音识别、机器翻译、情感分析、智能客服等等。NLTK是Natural Language Toolkit的缩写，是Python自然语言处理领域中最流行的一款工具包。
使用python做简单的中文自然语言处理
数据挖掘分析工程师孙璇
12-20 2万+
最近在学习NLP（自然语言处理），于是先看了看都有神马包可以使用，查了一遍网上说是NLTK包，下载了然后才想到我是要学中文的自然语言处理，于是就想看看专门处理中文的包有哪些。       又是一番搜索，我找到了网络大神们目前比较推崇的结巴分词（jieba），下载下来试了一下，感觉分词功能不错，于是写篇文章记录一下。       我用的是centos7的虚拟机，已经安装了anaconda
机器学习实践：提取文章-6
奔腾游子
01-07 1950
机器学习实践：提取文章摘要 1、实验描述 本实验利用自然语言处理提取新闻摘要：“关键字提取”算法和TextRank算法完成新闻摘要提取，旨在理解这两种算法的摘要原理和代码逻辑，从而掌握能够对自然语言文件进行处理的能力 实验时长：90分钟 主要步骤： 关键字摘要原理 关键词摘要代码编写 TextRank摘要算法原理 TextRank摘要代码编写 2、实验环境 虚拟机数量：1 系统版本：CentOS 7.5 Python版本：Python 3.5 3、相关技能 Pytho
2021-05-10
m0_50488845的博客
05-10 1269
《数字媒体技术基础》第二次作业 摘要：   本次实验采用的是Bag of words模型来计算句子对的相似度。   使用python2进行编程，程序分为两个部分：GUI和相似度计算。 GUI部分的实现思路是：用文字提示用户需要输入两个句子在两个输入框中，读取用户在两输入框中输入的句子对，当用户点击“开始计算相似度”button时，调用相似度计算函数。 相似度计算函数的实现思路是：先将句子分解成不带标点符号的短句，然后调用NLTK库中的word_tokenize函数将输入的句子对中的各个单词提取出来，然后构
python自然语言处理（一）
诺坎普奇迹的博客
03-26 1572
1标识化处理 word_tokenize()是一种通用的，面向所有语料库的标识化方法，基本能应付绝大多数。 reges_tokenize()基于正则表达式，自定义程度更高。 #！／user/bin/env python #-*- coding:utf-8 -*- import re import operator import nltk string = "Thanks to a han...
NLTK文本预处理与文本分析
weixin_38627015的博客
03-22 1473
本文主要介绍Python中NLTK文本分析的内容，咱先来看看文本分析的整个流程： 原始文本 - 分词 - 词性标注 - 词形归一化 - 去除停用词 - 去除特殊字符 - 单词大小写转换 - 文本分析 一、分词 使用DBSCAN聚类算法的英文介绍文本为例： from nltk import word_tokenize sentence = "DBSCAN - Density-Based Spat...
自然语言处理学习2：英语分词1word_tokenize, WordPunctTokenizer, TreebankWordTokenizer , WhitespaceTokenizer等
zhuzuwei的博客
05-28 7146
1. 分词word tokenize (1) 使用nltk.word_tokenize(text), 其中"isn't"被分割为"is"和"n't" （2）使用WordPunctTokenizer(），单词标点分割，其中"isn't"被分割为"isn"，"'"  和“t" (3) 使用TreebankWordTokenizer （宾夕法尼亚州立大学 Treebank
【多模态】2、NLTK | 自然语言处理工具包简介
呆呆的猫的博客
07-17 1854
本文主要介绍 nltk 库的使用
NLTK使用方法总结
热门推荐
分享实践与思考
01-07 3万+
目录 1. NLTK安装与功能描述 2. NLTK词频统计（Frequency） 3. NLTK去除停用词（stopwords） 4. NLTK分句和分词（tokenize） 5. NLTK词干提取 （Stemming） 6. NLTK词形还原（Lemmatization） 7.NLTK词性标注（POS Tag） 8. NLTK中的wordnet NLTK（natural...
【小沐学NLP】Python使用NLTK库的入门教程
爱看书的小沐
09-03 1万+
NLTK - 自然语言工具包 - 是一套开源Python。支持自然研究和开发的模块、数据集和教程 语言处理。NLTK 需要 Python 版本 3.7、3.8、3.9、3.10 或 3.11。NLTK是一个高效的Python构建的平台，用来处理人类自然语言数据。它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库，以及工业级NLP库的封装器和一个活跃的讨论论坛。
使用nltk对word文档分词
weixin_42603332的博客
01-19 545
可以使用nltk中的word_tokenize()函数来对word文档进行分词。首先，需要安装nltk库，然后导入word_tokenize()函数。接着，使用python的读取文件方法读取word文档中的文本，将其传入word_tokenize()函数中进行分词。 示例代码如下: import nltk from nltk.tokenize import word_tokenize file ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值