自然语言处理学习2：英语分词1word_tokenize, WordPunctTokenizer, TreebankWordTokenizer , WhitespaceTokenizer等

最新推荐文章于 2023-11-18 10:00:00 发布
转载 最新推荐文章于 2023-11-18 10:00:00 发布 · 1.4k 阅读 · 1
本文深入探讨了NLTK库中五种不同的分词技术，包括word_tokenize, WordPunctTokenizer, TreebankWordTokenizer, WhitespaceTokenizer及PunktWordTokenizer的使用方法与特点，解析英文文本isn't在不同分词器下的分割结果。

1. 分词word tokenize

(1) 使用nltk.word_tokenize(text), 其中"isn't"被分割为"is"和"n't"

（2）使用WordPunctTokenizer(），单词标点分割，其中"isn't"被分割为"isn"，"'"  和“t"

(3) 使用TreebankWordTokenizer （宾夕法尼亚州立大学 Treebank单词分割器）, 其中"isn't"被分割为"is"和"n't"

(4) 使用WhitespaceTokenizer(), 空格符号分割，就是split(' ') 最简单的一个分词器。"isn't"作为一个整体，没有被分割。

(5) PunktWordTokenizer()：导入失败，未找到原因，欢迎交流讨论。

学习笔记 - 精通Python自然语言处理 - 字符串操作
Always On The Way
03-10 1406
第一章 字符串操作 1.1 切分 nltk模块nltk.tokenize 1.1.1 将文本切分为语句 sent_tokenize()函数，该函数对PunktSentenceTokenizer类实例化。 import nltk from nltk.tokenize import sent_tokenize text = "Welcome readers. I hope you find it i...
python 自然语言处理第三章
Olivaf的博客
11-16 872
1.访问文件： A.本地文件 import os file=open(path)----指针 file.read()----得到字符串 for line in file ----遍历文件的每一行 B.网络文件 from urllib import urlopen file=urlopen(url) file.read() 2.分词： tokens=nl
2021-05-10
m0_50488845的博客
05-10 1269
《数字媒体技术基础》第二次作业 摘要：   本次实验采用的是Bag of words模型来计算句子对的相似度。   使用python2进行编程，程序分为两个部分：GUI和相似度计算。 GUI部分的实现思路是：用文字提示用户需要输入两个句子在两个输入框中，读取用户在两输入框中输入的句子对，当用户点击“开始计算相似度”button时，调用相似度计算函数。 相似度计算函数的实现思路是：先将句子分解成不带标点符号的短句，然后调用NLTK库中的word_tokenize函数将输入的句子对中的各个单词提取出来，然后构
机器学习实践：提取文章-6
奔腾游子
01-07 1950
机器学习实践：提取文章摘要 1、实验描述 本实验利用自然语言处理提取新闻摘要：“关键字提取”算法和TextRank算法完成新闻摘要提取，旨在理解这两种算法的摘要原理和代码逻辑，从而掌握能够对自然语言文件进行处理的能力 实验时长：90分钟 主要步骤： 关键字摘要原理 关键词摘要代码编写 TextRank摘要算法原理 TextRank摘要代码编写 2、实验环境 虚拟机数量：1 系统版本：CentOS 7.5 Python版本：Python 3.5 3、相关技能 Pytho
python自然语言处理（一）
诺坎普奇迹的博客
03-26 1572
1标识化处理 word_tokenize()是一种通用的，面向所有语料库的标识化方法，基本能应付绝大多数。 reges_tokenize()基于正则表达式，自定义程度更高。 #！／user/bin/env python #-*- coding:utf-8 -*- import re import operator import nltk string = "Thanks to a han...
word清理代码_使用NLTK进行文本数据清理
weixin_39658474的博客
12-12 447
点击蓝字｜关注我们介绍NLTK是一个字符串处理库，它将字符串作为输入。输出采用字符串或字符串列表的形式。该库提供了大量算法，这些算法主要有助于实际研究。可以在不同的输出变式之间进行比较，选择最适合的方法。还有其他库，例如spaCy，CoreNLP，PyNLPI，Polyglot但是NLTK和spaCy使用最广泛，在此我使用了非常适合学习的NLTK库进行学习介绍。从网站上抓取的数据大部分...
基础课8——中文分词
2202_75469062的博客
11-18 2322
中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
NLTK使用教程（持续更新ing...）
诸神缄默不语的博客
07-11 2466
本文是NLTK包的简单使用教程。
【小沐学NLP】Python使用NLTK库的入门教程
爱看书的小沐
09-03 1万+
NLTK - 自然语言工具包 - 是一套开源Python。支持自然研究和开发的模块、数据集和教程 语言处理。NLTK 需要 Python 版本 3.7、3.8、3.9、3.10 或 3.11。NLTK是一个高效的Python构建的平台，用来处理人类自然语言数据。它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库，以及工业级NLP库的封装器和一个活跃的讨论论坛。
自然语言处理学习 nltk----分词
mjj1024的博客
04-21 1661
1. nltk.word_tokenize ( text ) : 直接的分词，比如：“ isn't ” 被分割为 " is " 和 “ n't ” 2. WordPunctTokenizer ( ) : 单词标点分割，比如：“ isn't ”被分割为" isn ", " ' " 和 " t " 注意WordPunctTokenizer ( )的用法。 3. Tre...
tokenizers总结
noobiee的博客
09-19 1465
"annoying"并"ly"作为独立的子词会更频繁地出现，同时，"annoyingly"是由"annoying"和"ly"这两个子词的复合含义构成的复杂含义，这在诸如土耳其语之类的凝集性语言中特别有用，在该语言中，可以通过将子词串在一起来形成（几乎）任意长的复杂词。将word-level的分词方法改成 char-level的分词方法，对于英文来说，就是字母界别的，比如 "China"拆分为"C","h","i","n","a"，对于中文来说，"中国"拆分为"中"，"国"，
【火炉炼AI】机器学习034-NLP对文本进行分词
【科技老丁哥】的博客
10-09 745
【火炉炼AI】机器学习034-NLP对文本进行分词 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2， NLTK 3.3， jieba 0.39) 分词过程可以认为是自然语言处理（NLP）的第一步，在我们获取了文本数据集后，首先要做的就是将文本句子分割成各种单词，下面介绍各种常用的分词工具。 ...
使用nltk对word文档分词
weixin_42603332的博客
01-19 545
可以使用nltk中的word_tokenize()函数来对word文档进行分词。首先，需要安装nltk库，然后导入word_tokenize()函数。接着，使用python的读取文件方法读取word文档中的文本，将其传入word_tokenize()函数中进行分词。 示例代码如下: import nltk from nltk.tokenize import word_tokenize file ...
“尽揽自然语言处理魅力：使用NLTK探索NLP的强大
weixin_62650212的博客
04-21 748
😎🥳😎🤠🤖🙈💭🍳🍱随着数据的爆炸式增长，从海量数据中获取有用的信息就成为了一项重要的挑战。自然语言处理（NLP）是一种用于分析、理解和生成自然语言文本的强大技术，使得从大量的文本数据中提取有用信息成为可能。而NLTK则是实现NLP的强大工具之一。本文将介绍NLTK的基本概念、工具和数据集，并展示如何使用NLTK进行文本预处理、分词、标记、词干提取和分析，最终实现NLP的一些基本任务，如情感分析、文本分类和命名实体识别等。
一起来学自然语言处理----NLTK数据包加载以及字符串操作
Itsme_MrJJ的博客
03-22 3264
1、安装nltk数据包 2、字符串的切分 3、标点、大小写、停用词标准化 4、替换与矫正 5、相似度度量（编辑距离算法、Jaccard系数和Jaccard距离）
Python自然语言处理：NLTK入门指南
BXA
05-14 1万+
自然语言处理（Natural Language Processing，NLP）是指计算机处理人类语言的领域。它是一门多学科交叉的学科，将计算机科学、人工智能、语言学等诸多学科的理论和方法融合在一起，将人类语言转化为计算机所能理解的形式，实现对人类语言的自动处理、理解和生成。NLP可以应用到很多方面，比如语音识别、机器翻译、情感分析、智能客服等等。NLTK是Natural Language Toolkit的缩写，是Python自然语言处理领域中最流行的一款工具包。
虚心求教！初次接触Python文本预处理
码农-Vax天道的时间宝藏
11-30 1770
当拿到一个文本后，首先从文本正则化（text normalization）处理开始。常见的文本正则化步骤包括： 将文本中出现的所有字母转换为小写或大写 将文本中的数字转换为单词或删除这些数字 删除文本中出现的标点符号、重音符号以及其他变音符号 删除文本中的空白区域 扩展文本中出现的缩写 删除文本中出现的终止词、稀疏词和特定词 文本规范化（text canonicalization） 下面将详细描述上述文本正则化步骤。 将文本中出...
自然语言处理--NLTK包的TreebankWordTokenizer分词
糯米君的博客
12-20 1742
来自 NLTK 包的 TreebankWordTokenizer 分词器，它内置了多种常见的英语分词规则。例如，它从相邻的词条中将短语结束符号（?!.;,）分开，将包含句号的小数当成单个词条。另外，它还包含一些英文缩略语的规则，例如，“don’t”会切分成[“do”, “n’t”]。 from nltk.tokenize import TreebankWordTokenizer sentence = """Monticello wasn't designated as UNESCO World Herit
自然语言处理学习1：nltk英文分句WordPunctTokenizer、分词word_tokenize和词频统计FreqDist
热门推荐
zhuzuwei的博客
05-28 2万+
1. 分句Sentences Segment：使用nltk中的punkt句子分割器进行断句 加载：nltk.data.load('tokenizer/punkt/english.pickle') import nltk from nltk.tokenize import WordPunctTokenizer import numpy as np # 输入一个段落，分成句子（Punkt句子分割...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值