Python 构建文本共现网络：从数据清洗到可视化实战

1. 文本共现网络：从概念到实战价值

大家好，我是老张，在数据分析和文本挖掘这块摸爬滚打了十来年。今天想和大家聊聊一个特别有意思，也特别实用的技术——用Python构建文本共现网络。你可能听过“共现网络”这个词，感觉有点学术，有点复杂，但其实它的核心思想特别简单，就像我们平时看弹幕或者评论时的一个直觉：哪些词总是被一起提到？

举个例子，你看一部剧的弹幕，如果“宋运辉”和“雷东宝”这两个名字总是同时出现在同一条或相邻的弹幕里，那在观众心里，这两个角色或者这两条故事线的关系肯定非常紧密。文本共现网络干的就是这个事儿：它把文本里这些“总是扎堆出现”的词语找出来，用点和线画成一张关系网。点的大小代表这个词本身出现的频率（比如“宋运辉”被单独提到的次数），线的粗细代表两个词一起出现的次数。这样一来，一堆杂乱无章的文本，瞬间就变成了一张清晰的关系图谱，谁和谁关系铁，谁是话题中心，一目了然。

这玩意儿有什么用呢？那可太多了。对于做内容分析的朋友，你可以用它来分析一部小说里的人物关系，或者一部综艺里嘉宾的互动网络。对于做市场或用户研究的同学，你可以用它来挖掘海量用户评论中的核心诉求和产品关联。甚至对于学术研究，分析论文关键词的共现网络，能快速把握一个领域的研究热点和知识结构。它本质上是一种从“关系”的视角来理解文本的强力工具。

今天，我就手把手带你走完从原始文本数据到一张精美可视化网络图的完整流程。我们会用一个非常接地气的案例——分析《大江大河2》的弹幕数据，来看看观众们到底在聊什么，角色之间有哪些有趣的关联。不用担心代码复杂，我会把每一步都掰开揉碎了讲，保证你跟着做就能出结果。咱们先从最基础的准备工作开始。

2. 实战前的环境与数据准备

工欲善其事，必先利其器。在开始写代码之前，我们得先把“厨房”收拾好，把需要的“食材”和“厨具”备齐。这个过程看似琐碎，但打好基础能避免后面很多莫名其妙的报错，相信我，这是经验之谈。

2.1 安装必要的Python库

我们需要几个核心的Python库，它们各自扮演着不同的角色。我强烈建议你使用pip命令在终端或命令提示符里逐一安装。如果你用的是Anaconda，也可以用conda安装，但pip通常更通用。

pip install pandas numpy jieba

• pandas： 这是我们的数据“大管家”。无论是读取Excel、CSV文件，还是后续做各种数据筛选、合并、计算，都离不开它。它能把杂乱的数据整理成规整的表格，让我们用起来非常顺手。
• numpy： 它是科学计算的基础包，提供高效的数组运算。虽然我们在这个项目里直接调用它的场景不多，但pandas的底层依赖它，装上准没错。
• jieba： “结巴”中文分词库，是我们的“文本手术刀”。中文文本分析的第一步就是把连续的句子切分成独立的词语。比如“我喜欢深度学习”需要被切成[‘我’， ‘喜欢’， ‘深度学习’]。jieba是中文分词领域最常用、最稳定的工具之一。

除了这三个，我们后期可视化还会用到networkx和matplotlib，但那是后话，前期数据处理阶段有上面三个就够了。安装过程如果遇到网络超时，可以试试国内的镜像源，比如加上 -i https://pypi.tuna.tsinghua.edu.cn/simple。

2.2 获取与理解原始数据

我们的“食材”是《大江大河2》的弹幕数据。原始数据可能是一个Excel文件（比如弹幕数据.xlsx），里面至少有一列是“弹幕内容”。数据通常很“脏”，直接来自抓取，可能包含大量重复、无意义的符号、表情、甚至广告。

我拿到手的数据大概长这样：每一行是一条弹幕，内容五花八门，比如“宋运辉好帅！”、“雷东宝和杨巡这条线有意思”、“前方高能预警！！！”。我们的目标就是从这成千上万条弹幕中，提炼出有价值的词语（主要是名词、动词、核心形容词），并分析它们之间的共现关系。

除了数据文件，我们还需要一个“停用词表”。这是一个文本文件（比如stopwords.txt），里面列出了我们需要在分词后过滤掉的词语。这些词通常包括：

• 无实际意义的虚词：的、了、在、是、我、有……
• 标点符号和表情符号（虽然jieba能过滤一部分）。
• 特定场景下的高频但无分析价值的词：比如“哈哈”、“啊啊啊”、“2333”。
• 你可以根据你的分析目标自定义这个列表，比如如果不想分析“电视剧”这个词，就把它加进去。

准备好数据文件和停用词表，把它们放在一个你容易找到的文件夹里，比如桌面。接下来，我们就可以打开代码编辑器，开始真正的“烹饪”了。

3. 核心第一步：文本数据的深度清洗与分词

数据清洗是文本分析中最耗时，但也最决定成败的一步。垃圾进，垃圾出。原始弹幕里充满了噪声，我们的任务就是把它变成干净、结构化的词语列表。这个过程就像淘金，要耐心地把沙砾去掉，留下金粒。

3.1 加载数据与自定义分词

首先，我们导入工具，并读取数据。这里假设我们的Excel文件里，弹幕内容在名为“弹幕”的列中。

import pandas as pd
import numpy as np
import jieba

# 读取数据
df = pd.read_e