CNN在NLP中的应用

最新推荐文章于 2025-05-08 22:16:57 发布
原创 最新推荐文章于 2025-05-08 22:16:57 发布 · 2.3k 阅读 · 10

CNN最初是用于图像分类。因为图像的分类信息往往只是体现在图像的某个局部特征上，而CNN能通过训练，去寻找这个局部特征。CNN在图像里，采用的是2D的卷积，如图所示。
在这里插入图片描述
NLP中，对一段文字进行分类（比如情感分析）时，和图像一样，往往是局部的几个词会体现出要表达文字的情感，因此也可以用CNN进行处理。

和RNN不同，RNN适用于要根据整段话，提炼出相应的信息。因此RNN需要将这段文字进行encoder-decoder处理。CNN则适用于要抓取某几个词判断“情感”的场合。
此外，RNN实际上是“串行处理”，其运行速度较慢。而CNN可以采用并行处理的方式，运行速度比RNN快。

而在NLP中，同样可以把要处理的一句话看成图像。可以将一句话中的多个词排成一列，每一行代表着对应的这个词的词向量。这样，也就把NLP的问题也变成了图像问题，NLP的分类问题也就可以应用图像分类所采用的CNN了。
在这里插入图片描述

关于卷积

当然在NLP的CNN中，采用2D卷积，“横向”挪动卷积核其实是没有意义的。因为词向量本身就是一个完整的向量，不能再“拆”。因此卷积核只能“竖”着移动，这样在NLP中，实际上使用的是1D的卷积。卷积核的“宽度”必须和词向量的长度保持一致。
在图像分类中，输入到CNN的每幅图长宽的像素是一定的，所以同理在NLP中，输入到CNN的句子的长度也必须是定长的，不够长的只能补<pad>。
以下就是采用三个卷积核，采用了padding，并取max_pooling的计算过程。
在这里插入图片描述

max也可以换成avg，但目前并没有证据证明avg的性能比max更好。
max也能换成k-max，但同样也没有证据证明这种方式比max更好。

和图像分类相同，NLP也可以设置卷积时的stride, local-maxpooling等。

CNN数学表述

假设只有一个卷积核。对于由 n n n个单词组成的一句话， x 1 : n = x 1 ⊕ x 2 ⊕ . . . ⊕ x n \mathbf x_{1:n}=\mathbf x_1 \oplus \mathbf x_2 \oplus ... \oplus \mathbf x_n x1:n​=x1​⊕x2​⊕...⊕xn​，其中词向量 x i ∈ R k \mathbf x_i \in \mathbb R^k xi​∈Rk

最低0.47元/天 解锁文章
【深度学习&NLP】基于卷积神经网络(CNN)实现中文文本情感分析(分类)附代码以及数据集链接
weixin_52185996的博客
04-08 1万+
中文文本情感分析是一种研究人类情感表达的计算机技术，它可以自动地分析文本中的情感，并将其分类为积极、消极或中性。随着互联网的普及和社交媒体的兴起，人们在网上表达情感的方式变得越来越多样化和频繁化，这使得情感分析技术变得更加重要。中文文本情感分析的研究背景可以追溯到计算机语言学和自然语言处理领域的起源。近年来，随着深度学习技术的发展，基于深度学习的情感分析算法取得了显著的进展，成为了研究热点。
NLP三大特征抽取器：CNN、RNN与Transformer全面解析
fudaihb的博客
01-10 2007
自然语言处理（NLP）领域的快速发展离不开深度学习技术的推动。随着应用需求的不断增加，如何高效地从文本中抽取特征成为NLP研究中的核心问题。深度学习中三大主要特征抽取器——卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network, RNN）以及Transformer——在不同场景中展现出各自的优势。本文将系统解析这三种特征抽取器的原理、特点、应用场景及其在NLP中的实际表现，为开发者和研究者提供清晰的指导。
CNN卷积神经网络及其在NLP自然语言处理中的应用（一）
weixin_43751558的博客
10-09 8183
由于可以有效地进行特征提取，卷积神经网络（CNN）已经被广泛地应用于计算机视觉、自然语言处理等领域。之前仅在图像的分类和识别中用过CNN，且对CNN的理解较为浅显。现在重新学习卷积神经网络，并重点学习其在NLP领域的应用。特此记录。 参考：https://blog.csdn.net/jiaoyangwm/article/details/80011656 一、卷积神经网络 首先从卷积神经网络的概念、发展历史、网络构架、常见网络等方面学习卷积神经网络。 1、卷积神经网络的概念 深度学习的概念提出后，由于可以使用
理解NLP中的卷积神经网络（CNN）
土豆洋芋山药蛋的博客
04-26 1万+
此篇文章是Denny Britz关于CNN在NLP中应用的理解，他本人也曾在Google Brain项目中参与多项关于NLP的项目。 · 翻译不周到的地方请大家见谅。 阅读完本文大概需要7分钟左右的时间，如果您有收获，请点赞关注 ：） 一、理解NLP中的卷积神经网络（CNN） 现在当我们听到神经网络（CNN）的时候，一般都会想到它在计算机视觉上的应用，尤其是C...
快速入门CNN在NLP中的使用
LW的技术小筑
04-08 3260
一.前言 对于文本序列，我们一般想到的应用循环神经网络（RNN），事实证明RNN在NLP中确实效果很好。但是RNN也存在一个问题，就是序列前后具有依赖关系，无法并行。而卷积神经网络（CNN）却能克服这个缺陷，且能取得不错的性能。最近博主会更新一波关于CNN在特定NLP任务上的博文，为方便理解，先放出一篇关于文本卷积的博文。 二.文本卷积 对于图像卷积，我们可能很熟悉，就是利用一个卷积核在图片上从左到右、从上到下进行滑动，然后将卷积核覆盖的元素乘以卷积核对应的元素进行求和。 那么对于文本，卷积操作是如何进行
卷积神经网络（CNN）应用于自然语言处理（NLP）
qq_21460525的博客
03-15 8011
说到CNN，大家自然想到图像处理。 说到NLP，大家自然想到LSTM，RNN。 但是，去年的斯坦福论文表明，CNN照样可以应用于NLP，并且效果可能更好。博主做了实验，爬取了各类新闻并对新闻进行分类。这样的分类问题，RNN和CNN都可以达到99%左右的效果，但是，CNN几乎比RNN快了5倍。于是，博主主要针对CNN对于NLP处理中的细节展开讨论。1.CNN为什么可以处理NLP 随着词向量的发展
自然语言处理之文本分类：Convolutional Neural Networks(CNN)：多通道卷积网络在NLP中的应用
最新发布
zhubeibei168的博客
05-08 1068
文本分类是NLP中的一个经典问题，其目标是根据文本的内容将其自动分类到一个或多个预定义的类别中。文本分类可以分为监督学习和无监督学习两种类型，其中监督学习是最常见的方法，它需要一个带有标签的训练数据集来学习分类模型。文本分类在信息过滤、情感分析、主题建模和文档检索等领域有着广泛的应用。局部相关性：CNN能够捕捉文本中的局部特征，如短语和词组，这对于理解句子结构和语义至关重要。并行处理：卷积操作可以并行化，这使得CNN在处理大量文本数据时效率较高。特征学习。
如何在NLP领域应用卷积神经网络CNN
CurryCoder的个人博客
03-10 871
1.CNN使用原理 (1) 相对于图片像素，在NLP任务中，将句子和文章作为一个矩阵来输入给CNN网络，矩阵中的每一行代表一个标记token，通常是一个词语，但是，也可以是一个字符。也就是说，矩阵中的每行是一个向量，这个向量代表一个词语。通常这个向量是词嵌入向量（低维表示），比如word2vec、glove，但是有时候单个词语也可以使用one-hot编码来表示该单词在词汇表中的索引。对于一个由1...
卷积神经网络CNN及其在NLP中应用
orangerfun的博客
12-26 1907
1.卷积的优点 在图像处理中，卷积层通常比全连接层需要更少的参数，但依旧获得高效用的模型 设输入图像为28X28,隐藏层有15个神经元，卷积核size=5*5 对于全连接网络总共参数为：28x28x15=11760 对于卷积网络所需参数数量：5x5=25 多个输入和输出通道使模型在每个空间位置可以获取图像的多方面特征 2. 卷积操作 卷积层对输入和卷积核权重进行互相关运算，并在添加标量偏置之后产生输出 互相关和卷积的关系： 卷积层执行互相关运算并学习得到的卷积核为K， 其他条件不变，当这个层执行
nlp深度学习基础-CNN、GNN、RNN
◝(⑅•ᴗ•⑅)◜..°♡的博客
09-28 4492
NLP深度学习之CNN、GNN、RNN的学习记录
【NLP傻瓜式教程】手把手带你CNN文本分类(附代码)
追随内心
04-19 1480
本文是对经典论文《Convolutional Neural Networks for Sentence Classification[1]》的详细复现，(应该是)基于TensorFlow 1.1以及python3.6。从数据预处理、模型搭建、模型训练预测以及可视化一条龙讲解，旨在为刚接触该领域不知道如何下手搭建网络的同学提供一个参考。废话不说直接进入主题吧。
NLP中的CNN
loganzha的博客
02-25 794
前言 这篇博文是笔者之前学习自然语言处理课程CS224的笔记，首发于公众号:NLP学习者 从RNN(循环网络)到CNN(卷积网络) 虽然已经学习了多个循环神经网络，但是实际上，循环神经网络不擅长于短语，因为RNN总是将整个句子输入到LSTM中，并且在RNN的最终向量中最后一个单词往往起了很大作用。 CNN的想法是从一定长度的序列中同时计算他们的表示。例如有句子“tentative deal reached to keep government open”，如果取3为序列大小，可以得到5个子序列:tentat
深度探析卷积神经网络（CNN）在图像视觉与自然语言处理领域的应用与优势
cooldream2009的博客
01-09 3716
卷积神经网络（CNN）作为一种强大的深度学习模型，在图像视觉和自然语言处理领域展现出了广泛的应用。其独特的网络结构以及层次化的特征学习使其成为目标检测、语音识别、视频分类以及文本分类等多个领域的重要工具。本文将深入探讨CNN在这些领域中的具体应用，并阐述其在不同任务中的优势。
LLM大模型学习：NLP三大特征抽取器（CNN/RNN/TF）
2401_85390073的博客
09-11 1222
RNN已经基本完成它的历史使命，将来会逐步退出历史舞台；CNN如果改造得当，将来还是有希望有自己在NLP领域的一席之地；而Transformer明显会很快成为NLP里担当大任的最主流的特征抽取器。NLP任务的特点：输入是个一维线性序列；输入不定长；单词或句子的位置关系很重要；句子中长距离特征对于语义理解也很重要。。
CNN&RNN浅谈
ys_1991的博客
03-13 2291
一.
自然语言处理之情感分析：Convolutional Neural Networks (CNN)：情感分析基础理论
zhubeibei168的博客
04-27 1276
在NLP中，CNN的输入通常是一段文本，文本被转换为词向量矩阵，每个词对应一个向量。CNN通过卷积层对这些词向量进行滑动窗口操作，捕捉词与词之间的关系，然后通过池化层减少特征维度，最后通过全连接层进行分类。词嵌入(Word Embedding)是自然语言处理中一种将文本转换为数值向量的方法，它能够捕捉词汇之间的语义和语法关系。词嵌入模型将每个词映射到一个高维空间中的向量，这些向量不仅能够表示词的含义，还能反映词与词之间的相似性。词嵌入的常见模型包括Word2Vec、GloVe和FastText等。
一文了解深度学习模型：CNN、RNN、GAN、transformer
热门推荐
Java_rich的博客
10-17 2万+
深度学习是一种模仿人脑神经网络结构和功能的机器学习方法，通过构建多层神经网络模型，自动从大规模数据中学习复杂的特征表示。其核心原理包括和层次化特征提取：通过多层非线性变换，逐步提取数据的高级语义特征端到端学习：直接学习输入与输出间的映射关系，无需人工干预这种机制使深度学习能有效处理高维、非线性数据，在图像识别、语音识别和自然语言处理等领域展现出卓越性能。
卷积神经网络在自然语言处理中的应用与作用
AigcFox的博客
01-09 962
CNN在NLP中的应用通常涉及将文本转换为矩阵形式，其中每个单词或字符对应矩阵的一行，然后使用卷积层在矩阵的行上滑动，提取特征。然而，CNN在处理长距离依赖问题时可能不如循环神经网络（RNN）有效，因此在实际应用中，CNN和RNN的组合使用是一种常见的方法。CNN通过卷积层和池化层自动从文本数据中提取特征，这些特征可以捕捉局部模式和结构，如词的上下文关系和句子的局部结构。通过滑动窗口的方式，CNN可以在不同的位置提取特征，帮助识别文本中的特定实体。它可以帮助模型理解问题的意图，并在文本中找到相关的信息点。
【转】卷积神经网络如何用在NLP上
Lucky
03-13 872
点击前往集智专栏阅读原文 原文：Understanding Convolutional Neural Networks for NLP 作者：Denny Britz 翻译：Kaiser 当我们听到“卷积神经网络”(CNN，当然，不是特朗普说Fake News那个CNN)，通常会想到计算机视觉。图像分类的重大突破，以及当下大多数计算机视觉系统的核心，都要归功于CNN，从的自动照片打标...
【Python机器学习】卷积神经网络（CNN）——在NLP中使用CNN
weixin_39407597的博客
09-09 1235
对于句子这种一维输入，我们主要关注的是词条在一维空间维度的关系，所以做的是一维卷积。这里的卷积核也可以是是一维的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值