《学术小白的学习之路 06》自然语言处理之 数据预处理、Jieba分词和文本聚类

最新推荐文章于 2026-07-09 10:02:50 发布
原创 最新推荐文章于 2026-07-09 10:02:50 发布 · 829 阅读 · 4
本文是关于自然语言处理的学习笔记，主要内容包括数据预处理（分词、清洗、特征提取、权重计算）、Jieba分词的安装与使用、数据清洗的停用词过滤、特征提取的向量空间模型和余弦相似度、以及TF-IDF权重计算。通过实例展示了如何使用Jieba进行中文分词，以及如何运用TF-IDF进行文本特征提取，最终实现了文本聚类。

本文主要是学习参考杨秀璋老师的博客,笔记总结。
原文链接

文章目录

书山有路勤为径，学海无涯苦作舟（行行代码要手敲）

在这里插入图片描述

零、吃水不忘挖井人

原文链接

一、数据预处理（分词-清洗-特征提取-权重）

数据的预处理直接影响后续模型分析的好坏，数据预处理是在对数据进行一些初步的处理：

  • 缺失值缺失
  • 噪声处理
  • 中文分析

数据预处理的基本步骤,中文分词，词性标注，数据清洗，特征分词（向量空间模型存储），权重计算（TF-IDF）等:
在这里插入图片描述
1.中文分词
在得到语料之后，首先需要做的就是对中文语料进行分词。

需要通过一定的分词技术把句子分割成空格连接的词序列。

2.数据清洗及停用词过滤

在中文分词技术得到分完词的语料后，可能会存在脏数据和停用词等现象。

标签
#自然语言处理 #python #聚类
了解本专栏 订阅专栏 解锁全文 超级会员免费看
中文分词的聚类
04-02
基于结巴分词 词性标注 视频文档摘要简介 文本聚类
python使用Jieba工具中文分词及文本聚类概念
人生苦短， 还不用Python？
08-09 2979
####一. Selenium爬取百度百科摘要 简单给出Selenium爬取百度百科5A级景区的代码： # coding=utf-8 import time import re import os import sys import codecs import shutil from selenium import webdriver f...
[python] 使用Jieba工具中文分词及文本聚类概念
weixin_33831196的博客
12-11 943
前面讲述了很多关于Python爬取本体Ontology、消息盒InfoBox、虎扑图片等例子，同时讲述了VSM向量空间模型的应用。但是由于InfoBox没有前后文和语义概念，所以效果不是很好，这篇文章主要是爬取百度5A景区摘要信息，再利用Jieba分词工具进行中文分词，最后提出文本聚类算法的一些概念知识。 相关文章： ...
[Python从零到壹] 十五.文本挖掘之数据预处理、Jieba工具和文本聚类万字详解
杨秀璋的专栏
08-06 2万+
前一篇文章讲述了分类算法的原理知识级案例，包括决策树、KNN、SVM，并通过详细的分类对比实验和可视化边界分析与大家总结。本文将详细讲解数据预处理、Jieba分词和文本聚类知识，这篇文章可以说是文本挖掘和自然语言处理的入门文章。两万字基础文章，希望对您有所帮助。欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不
使用jieba进行数据预处理（分词，过滤停用词及标点，获取词频、关键词等）
热门推荐
Ezrealmore
09-13 4万+
整理停用词 去空行和两边的空格#encoding=utf-8 filename = "stop_words.txt"f = open(filename,"r",encoding='utf-8') result = list() for line in f.readlines(): line = line.strip() if not len(line): contin
NLP工程师实战指南：模型量化、多源翻译与垂域落地
hqmln的博客
06-24 502
自然语言处理（NLP）是人工智能的核心子领域，其技术价值在于将语言理解与生成能力工程化落地。理解模型压缩原理（如INT8量化）、掌握多源API集成方法、熟悉生物医学等垂直领域的数据特性，是提升线上服务性能、降低推理延迟与运维成本的关键路径。在金融、医疗、电商等真实场景中，NLP技术需兼顾精度、延迟、可维护性与供应链稳定性。本文聚焦一线工程师高频实践——ONNX模型量化实操、Deep Translator路由策略设计、BLURB榜单的垂域选型逻辑，提供从命令行到生产部署的完整链路参考。
中文主题建模实战：LDA与BERTopic双轨工作流
cigang4063的博客
06-16 805
主题建模是将非结构化文本转化为可解释业务洞察的核心技术，其本质是通过概率分布或语义嵌入发现文档中潜在的主题结构。原理上，LDA基于词袋假设与狄利克雷先验实现可解释的统计建模，而BERTopic依托预训练语言模型与聚类算法捕捉深层语义关联。该技术的价值在于 bridging the gap（弥合鸿沟）——既支撑客服工单自动归类、产品评论情感溯源等轻量级AI应用，又为知识图谱构建、智能搜索增强提供高质量主题标签。典型应用场景涵盖金融投诉分析、医疗病历挖掘、电商评论聚类等真实中文语料环境，尤其适用于短文本爆炸、中
TextBlob情绪强度量化：用Magnitude实现情感可计算化
dichengyan0013的博客
06-29 493
情感分析不仅是判断正负向，更是对情绪浓烈程度的精准度量。Sentiment Magnitude（情绪强度值）作为Polarity与Subjectivity的非线性组合，提供了可排序、可阈值化、可工程落地的情绪量化指标。它源于TextBlob底层词典加权逻辑，公式为|Magnitude = |Polarity| × Subjectivity|，天然适配轻量级、实时性高、资源受限的业务场景。相比VADER或BERT，TextBlob在中文客服质检、员工反馈分析、电商评论分级等任务中，以极简依赖、离线可用、结果可
新闻NLP流水线：规则+轻量模型的确定性事件解析方案
csdn785029689的博客
06-24 390
新闻文本是典型的高时效、强噪声、低结构化自然语言数据，其核心处理目标是稳定抽取出‘谁、何时、何事、何地、何因’等关键要素。传统端到端大模型（如BERT）虽语义表征强，但在时间归一化、机构消歧、部署鲁棒性等方面存在明显短板；而纯规则方法又难以应对语义多样性。本方案提出‘规则引擎前置过滤 + 轻量NER精标 + Cypher解码器’三层漏斗架构，以确定性为设计原点，通过动态词典、事件句裁剪、动词驱动三元组生成等机制，在可控成本下实现高吞吐、可审计、可追溯的新闻结构化输出。适用于金融舆情监控、政策动态追踪、监管信
计算机毕业设计Python+大模型微博舆情分析系统 微博舆情预测 微博爬虫 微博大数 据(源码+LW文档+PPT+详细讲解)
全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理。
08-23 761
计算机毕业设计Python+大模型微博舆情分析系统 微博舆情预测 微博爬虫 微博大数 据(源码+LW文档+PPT+详细讲解)
Open Notebook：开源AI研究助手的架构级重构
最新发布
adiking520110的博客
07-09 294
AI研究助手正从封闭SaaS走向可审计、可定制、可离线的开源范式。其核心原理在于将数据主权、模型自由度与工作流编排解耦，通过SurrealDB实现结构化+向量混合检索，依托Ollama等本地大模型支持生产级RAG，技术价值体现在法律合规、医疗私有知识库、科研可复现性等强约束场景。典型应用包括学术文献综述生成、企业制度播客化培训、个人知识管理中的跨源关联与间隔复习。本文聚焦Open Notebook这一代表项目，深入解析其如何以开源技术栈重构Notebook LM的底层逻辑。
多语言RAG四大工程路径：从查询翻译到混合路由的落地选型指南
weixin_30566063的博客
06-24 462
多语言RAG（Retrieval-Augmented Generation）是一种融合跨语言检索与大模型生成的知识服务架构，其核心在于解决语义对齐、跨语言召回与文化适配三大挑战。不同于单语RAG，它需在向量空间中建模不同语言间的非线性映射关系，并应对翻译失真、形态差异和领域术语偏移等现实问题。技术价值体现在提升小语种检索准确率、降低人工本地化成本、增强全球用户响应一致性。典型应用场景包括跨国客服知识库、多语言技术文档问答、跨境电商FAQ系统及国际组织政策咨询平台。本文聚焦Multilingual RAG与I
NLP之jieba分词原理简析
miner_zhu的博客
10-21 2万+
一、jieba介绍 jieba库是一个简单实用的中文自然语言处理分词库。 jieba分词属于概率语言模型分词。概率语言模型分词的任务是：在全切分所得的所有结果中求某个切分方案S，使得P(S)最大。 jieba支持三种分词模式： 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 精确模式，试图将句子最精确地切开，适合文本分析； 搜索引擎模式，在精确模式的基...
结巴分词，文本聚类，情感分析，词云图可视化
Luzaofa的博客
05-21 8340
import re import numpy import jieba import jieba.analyse # 提取关键内容 import jieba.posseg as pseg # 词性标注 from pymongo import MongoClient from sklearn.feature_extrac...
【python】jieba分词的搜索模式，之后要怎么用？ 关键词是 聚类分析
神创的博客
04-15 1440
参考：https://blog.csdn.net/songzhilian22/article/details/49636725GitHub：https://github.com/likeyiyy/chinese_text_cluster---------------------------------------------------------------------参考：https://ww...
Python Jieba中文分词工具实现分词功能
xl168199的专栏
03-10 7077
程序功能及简介：安装和测试Python下的中文分词工具 开发时间：2019年3月10 开发时长：0.5个工作日。 开发要求及分析： 在Python下可以采用的较好的中文分词工具是结巴中文分词和中科院的分词系统，现就Jieba中文分词使用功能做一些探究。 一、操作步骤： 1、 安装结巴中文分词工具 在32位，Windows7 ，Pycharm，Anaconda下安装最新的结巴中...
聚类算法实例：k-means实现文档分类（用jieba分词）
wangqianqianya的博客
03-02 7376
文档分类 对文档进行分类即对文本信息进行聚类。文本聚类是聚类算法在文本上的应用。由于聚类算法针对的是数学数据，要计算出样本点之间的“距离”。所以首先，我们要将文本数据转化为数学信息。可以使用TF-IDF加权技术计算单个词的权值。 TF-IDF常用于咨询检索与文本挖掘，用于估计某一个词对于文件集中某一文件的重要程度。TF-IDF原理是词的重要性与它在该文件出现次数成正比，与它在文件...
NLP预处理之分词工具的使用（jieba，hanlp）
qq_40887846的博客
06-02 2137
介绍常用的分词技术，jieba，hanlp，紧接着介绍了命名实体识别和词性标注任务
数据预处理--分词
justisme的博客
07-23 1768
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

驭风少年君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值