Imdb影评的数据集介绍与下载

最新推荐文章于 2026-05-18 12:34:08 发布

原创

最新推荐文章于 2026-05-18 12:34:08 发布 · 2.9w 阅读

123

收录于

当前文章被以下社区和专栏收录：

本文介绍IMDb影评数据集，包含5万条电影评论，分为训练和测试集，正负样本均衡。数据集可用于情感分析任务，提供原始文本及处理后的单词格式袋。

1. Imdb影评的数据集介绍

在这里插入图片描述
这是用于二分类情感分类的数据集，其包含的数据比以前的基准数据集要多得多。我们提供了25,000电影评论用于训练，而25,000条电影评论用于测试。也有其他未标记的数据可供使用。提供原始文本和已处理的单词格式袋。有关更多详细信息，请参见发行版中的自述文件。

Imdb 影评的数据集包含有
25000 训练数据集
25000 测试数据集

2. 数据下载

数据集地址：http://ai.stanford.edu/~amaas/data/sentiment/
在这里插入图片描述
下载后解压，会看到有两个文件夹，test和train：

我们点进train中，会发现正样本和负样本已经分好类了：
neg和pos分别是负样本和正样本，unsup是未标注的样本，可用后续需要采用。其他的都自己去看看吧。

打开pos文件，看看里面啥样：
在这里插入图片描述
都是一个个文本。

注意到，这些文本一般都不短…
在这里插入图片描述
数据集中，共有5w条文本，test集和train集各半，每个集合中，pos和neg也是各半。

import os as os
import numpy as np
from sklearn.model_selection import train_test_split

datapath = r'./aclImdb'
save_dir = r'./data'

def get_data(datapath):
    pos_files = os.listdir(datapath + '/pos')
    neg_files = os.listdir(datapath + '/neg')
    print(len(pos_files))
    print(len