自然语言处理（NLP）

最新推荐文章于 2025-08-12 18:32:02 发布
原创 最新推荐文章于 2025-08-12 18:32:02 发布 · 936 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Deeplearning

当前文章被收录于：

Deeplearning
14 篇文章 0 人学习
订阅专栏 查看详情

自然语言处理：

1、什么是自然语言处理（NLP）

  • 自然语言处理是一门交叉学科，包括计算机科学，人工智能和语言学
  • 目标：让计算机去处理或“理解”自然语言, 完成一些有用的任务例如问答系统，机器翻译
  • 完全理解或者表示语言的意义（甚至去定义它）都是一个虚幻的目标
  • 完美的理解语言是一个“AI-complete”的问题


2、自然语言处理的应用
  • 应用范围从简单到复杂
  • 拼写检查, 关键词提取&搜索，同义词查找&替换
  • 从网页中提取有用的信息例如产品价格，日期，地址，人名或公司名等
  • 分类，例如对教科书的文本进行分级，对长文本进行正负情绪判断
  • 机器翻译
  • 口语对话系统
  • 复杂的问答系统


3、工业届里的NLP应用
  • 搜索引擎
  • 在线广告
  • 自动的或辅助的翻译技术
  • 市场营销或者金融交易领域的情感分析
  • 语音识别


4、NLP为什么这么难
  • 语言在表达上就很复杂，使用的时候要综合考虑使用情境
  • Jane hit June and then she [fell/ran].
  • 歧义问题：“I made her duck”

5、现有的中文自然语言处理工具：
LTP
直接有纠错功能的： 腾讯文智    大汉科技



N-gram语言模型：
目的：在给定语料库的情况下，计算一个字符串出现的概率

N-gram是自然语言处理（NLP）中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-gram来做以下几类事情：

  1. 预计或者评估一个句子是否合理；
  2. 评估两个字符串之间的差异程度，这也是模糊匹配中常用的一种手段；
  3. 语音识别；
  4. 机器翻译；
  5. 文本分类；

资料链接：
n-gram_1（包含 开源n-gram数据集）

那么我们如何用N-gram来做篇章单元的分类器呢？其实很简单了，只要根据每个类别的语料库训练各自的语言模型，也就是上面的频率分布表，实质上就是每一个篇章单元的类别都有一个概率分布，当新来一个篇章单元的时候，只要根据各自的语言模型，计算出每个语言模型下这个篇章单元的发生概率，篇章单元在哪个模型的概率大，这篇文本就属于哪个类别了。


数据稀疏和平滑技术：


中文纠错


github上中文纠错项目：

结巴分词的词典：

高效的分词工具：
结巴

THULAC










NLP 自然语言处理实战
风尘浪子
03-28 1万+
本文从分词、词频、词向量等基础领域开始讲解自然语言处理的原理，讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。
【自然语言处理】自然语言处理NLP概述及应用
weixin_51306394的博客
06-18 2904
自然语言处理（Natural Language Processing，简称NLP）是一门集计算机科学、人工智能以及语言学于一体的交叉学科，致力于让计算机能够理解、解析、生成和处理人类的自然语言。它是人工智能领域的一个关键分支，旨在缩小人与机器之间的交流障碍，使得机器能够更有效地识别并响应人类的自然语言指令或内容。
【NLP学习笔记】文本相似度计算——判断两篇文章是否相似
学习带来的快乐最持久~
07-11 2318
一、算法流程 （1）使用TF-IDF算法，提取出两篇文章的关键词； （2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）； （3）生成两篇文章各自的词频向量； （4）计算两个向量的余弦相似度，值越大就表示越相似。 ...
自然语言处理 (Natural Language Processing, NLP) 全方位解析
qq_28791753的博客
11-21 4889
自然语言处理是计算机科学的一个分支，致力于使计算机能够理解和处理人类语言。它包括文本分析、语音识别、机器翻译、情感分析等多个方面。
举例说明自然语言处理（NLP）技术。
2509_91246308的博客
04-02 471
1. 机器翻译：NLP技术被应用于机器翻译领域，比如谷歌翻译、百度翻译等工具可以帮助人们将一种语言翻译成另一种语言。
自然语言处理（ NLP）基础
最新发布
2302_80301538的博客
08-12 5369
NLP包括但不限于语言理解、语言生成、机器翻译、情感分析、语音识别和语音合成。同时在中文环境，但需要考虑中文的特殊性，如中文分词、中文语法和语义分析。
一文彻底搞懂自然语言处理：什么是自然语言处理 NLP？NLP的核心技术
star_nwe的博客
11-17 1万+
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
[NLP] 自然语言处理 --- NLP入门指南
热门推荐
摩登都市天空---专栏
12-15 14万+
NLP的全称是Natuarl Language Processing，中文意思是自然语言处理，是人工智能领域的一个重要方向 自然语言处理（NLP）的一个最伟大的方面是跨越多个领域的计算研究，从人工智能到计算语言学的多个计算研究领域都在研究计算机与人类语言之间的相互作用。它主要关注计算机如何准确并快速地处理大量的自然语言语料库。什么是自然语言语料库？它是用现实世界语言表达的语言学习，是从文本和语言...
自然语言处理（NLP）简介
不凡不弃的博客
05-30 3万+
简单地说，自然语言处理就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言，人类的思维也就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。
一文了解什么是NLP（自然语言处理）
墨鸦的博客
11-01 1万+
自然语言处理（NLP）是一种专业分析人类语言的人工智能。接收自然语言，这种语言是通过人类的自然使用演变而来的，我们每天都用它来交流转译自然语言，通常是通过基于概率的算法分析自然语言并输出结果简而言之，这就是一个创建算法的过程。苹果公司的人工智能语音助手 Siri 的工作过程就是自然语言处理在实践中应用的一个鲜活案例。NLP 正在成为我们生活中不可或缺的一部分，其与机器学习、深度学习一起达成的高度远远优于几年前取得的成就。在本文中我们将深入了解NLP是如何应用、如何工作的。
自然语言处理从入门到应用——自然语言处理（Natural Language Processing，NLP）基础知识
冯·诺依曼
05-31 1万+
自然语言通常指的是人类语言，是人类思维的载体和交流的基本工具，也是人类区别于动物的根本标志，更是人类智能发展的外在体现形式之一。自然语言处理（Natural Language Processing，NLP）主要研究用计算机理解和生成自然语言的各种理论和方法，属于人工智能领域的一个重要甚至核心分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学（Computational Linguistics，CL）。随着互联网的快速发展，网络文本呈爆炸性增长，为自然语言处理提出了巨大的应用需求。
自然语言处理NLP概述
csdn1561168266的博客
04-03 3888
大家好，自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向，其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将从自然语言处理的本质、原理和应用三个方面，对其进行概述。NLP是一种机器学习技术，使计算机能够解读、处理和理解人类语言，其本质就是人类和机器之间沟通的桥梁。人类使用自然语言交流，如中文、英文等，狗通过叫声和其他身体语言交流，机器使用数字信息进行交流。人类与机器之间存在交流障碍，因为人类不直接理解数字信息，而机器不直接理解自然语言。
NLP自然语言处理
m0_68153457的博客
09-23 2087
NLP就是人与机器沟通的“桥梁”。
nlp自然语言处理_NLP入门0：使用Python的自然语言处理（NLP）教程
weixin_39664456的博客
11-27 672
渣自翻，内容有缺，原作者Pratik Shukla，Roberto Iriondo，来自：https://medium.com/towards-artificial-intelligence/natural-language-processing-nlp-with-python-tutorial-for-beginners-1f54e610a1a0#7d22​medium.com由于原文是英文，且...
什么是 NLP (自然语言处理）
YeJuliaLi的博客
04-20 4万+
NLP（自然语言处理）到底是做什么？NLP 的全称是 Natural Language Processing，翻译成中文称作：自然语言处理。它是计算机和人工智能的一个重要领域。顾名思义，该...
NLP 自然语言处理
qq_36411120的博客
05-18 654
阿里达摩院（自然语言处理）技术与应用学习 1.1 自然语言处理 自然语言处理（Natural Language Processing，缩写NLP），计算机领域与人工智能领域中的一个重要方向，主要包括感知智能，认知智能，创造智能。 1.2 NLP技术/产品 NLP基础----词法分析、句法分析、语义分析、文本分析、深度模型 NLP技术----内容搜索、内容推荐、用户评价与分析、问答… NLP应用----推荐、搜索、客服、翻译、广告、物流、金融… 1.3 情感分析 情感分析又称倾向性分析或意见挖掘，它是对带有情
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值