文本分类-Word2vec+LSTM

Python风控模型与数据分析

关注

最新推荐文章于 2026-07-03 16:44:10 发布 · 1.5k 阅读

原创

本文为博客 VIP 文章，开通 VIP 后可阅读全文

开通 VIP

一、LSTM文本分类实战

1、数据读取及预处理

2、文本序列编码

3、Embedding+LSTM（含LSTM参数介绍）

4、Word2vec+双向LSTM

二、划重点

少走10年弯路

LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（Recurrent Neural Network，RNN），用于处理序列数据和时间序列数据的建模和预测。相比于传统的RNN结构，LSTM引入了门控机制，能够更好地捕捉和记忆长期依赖关系。

LSTM的关键思想是通过控制信息的流动和遗忘来实现长期记忆。它由一系列称为"记忆单元"的单元组成，每个记忆单元都具有一个内部状态（cell state）和三个门（gate）：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。

一、LSTM文本分类实战

1、数据读取及预处理

# 导包
import re
import os
from sqlalchemy import create_engine
import pandas as pd
import numpy as np
import warnings
warnings.filterwarnings('ignore')
import sklearn
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_curve,roc_auc_score
import xgboost as xgb
from xgboost.sklearn import XGBClassifier
import lightgbm as lgb
import matplotlib.pyplot as plt
import gc

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras import models
from tensorflow.keras import layers
from tensorflow.keras import optimizers

# 2、数据读取+预处理
data=pd.read_excel('Inshorts Cleaned Data.xlsx')
 
def data_preprocess(data):
    df=data.drop(['Publish Date','Time ','Headline'],axis=1).copy()
    df.rename(columns={'Source ':'Source'},inplace=True)
    df=df[df.Source.isin(['YouTube','India Today'])].reset_index(drop=True)
    df['y']=np.where(df.Source=='YouTube',1,0)
    df=df.drop(['Source'],axis=1)
    return df
 
df=data.pipe(data_preprocess)
print(df.shape)
df.head()

# 导入英文停用词
from nltk.corpus import stopwords  
from nltk.tokenize import sent_tokenize
stop_english=stopwords.words('english')  
stop_spanish=stopwords.words('spanish') 
stop_english

# 4、文本预处理：处理简写、小写化、去除停用词、词性还原
from nltk.stem import WordNetLemmatizer
from nltk.corpus import stopwords  
from nltk.tokenize import sent_tokenize
import nltk
 
def replace_abbreviation(text):
    
    rep_list=[
        ("it's", "it is"),
        ("i'm", "i am"),
        ("he's", "he is"),
        ("she's", "she is"),
        ("we're", "we are")