NLP博客

目录自然语言处理主要内容自然语言的构成自然语言处理的步骤1：词法分析1 分词：2 实体识别3 实体识别方法：序列标注4 序列标注关键算法：5 序列标注应用：5.1 新词发现：5.2 领域中文分词5.3 命名实体识别5.4 依存句法分析（帮助句法分析）自然语言处理的步骤2：句法分析1 主题模型与特征提取1.1 TF-IDF1.2 主题模型1.3 LDA（潜在狄利克雷分配Latent Dirichlet Allocation）1.4 词向量与分布式表示2 文本分类与相似度量自然语言处理的步骤3：语

Attention；RNN；统计；NLP

1.Python字符串处理 2.正则表达式基本语法 3.正则常用符号 4.常用函数介绍 5.NLTK工具包简介 6.停用词过滤 7.词性标注 8.数据清洗实例 9.Spacy工具包 10.名字实体匹配 11.恐怖袭击分析 12.结巴分词器 13.词云展示

NLP国外大牛 Jay Alammar博客：https://jalammar.github.io/

参考文献参考张俊林老师的文章《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较》梳理记录一下

最近在整理一些NLP相关的知识，所以计划将一系列笔记整理成文，完成一个NLP和chatbot(人机对话)的系列博客。 主要内容包括机器学习算法推导，个人理解，代码实现(以python为主，少量java)，论文笔记等内容。 nlp系列博客目录为:...

看论文，学姿势 233333持续更新中。。。

整理的部分网络资源文章，后续会持续补充。1、综述博客我爱自然语言处理http://www.52nlp.cn/码农场http://www.hankcs.com/2、书籍和入门自然语言相关资源入门http://www.52nlp.cn/about自然语言处理书籍推荐http://www.52nlp.cn/%E4%B9%A6%E7%B1%8D水木论坛自然语言处理版http://www.newsmth.n...

Language Modeling

简单介绍了一下入门NLP所需要具备理论知识和相关工具的基础使用方法，以及入门需要做的实践代码和之后的相关规划。

NLP自然语言处理简介

训练的模型是一种输入与输出之间的映射。找输入输出的一种对应关系。这属于有监督学习。有监督学习的核心目标：建立一个魔心给（函数），来描述输入（X）与输出（Y）之间的映射关系。有监督学习的价值：对于新的输入，通过模型给出预测的输出。想要快速获得正确的模型，有哪些可以优化的地方？随机初始化设想初始化后loss很小，是不是很快收敛NLP中的预训练模型实际上就是对随机初始化的技术优化优化损失函数（损失函数的选取）调整参数的策略（优化器，学习率）调整模型结构不同模型能够拟合不同的数据集。...

自然语言处理优质GitHub、推文资料合集，本文持续更新当下最新的NLP资料，方便各位学习和查阅。 1、中文资料 【1】复旦大学NLP上手教程：NLP-Beginner（2019.5） 邱锡鹏老师《神经网络与深度学习》链接：https://nndl.github.io/ 复旦大学NLP上手教程：https://github.com/FudanNLP/nlp-beginner 【2】Awe...

什么是NLP？ 简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。 这里讨论一些自然语言处理(NLP)的实际应用例子，如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词，以及生成语法正确完整句子和段落。 这并不是NLP能做的所有事情。 回到顶部 NLP实现 搜索引擎: 比如谷歌，Yahoo等。谷歌搜索引擎知道你是一个技术人员，所以它

一、词袋模型：分词、去停用词、消除数字、英文，得到若干词语的集合。 二、词典：词语和其索引ID的一一对应关系。假设共有N个词语。 三、one-hot编码: 在词典基础上，分词之后的文章的词频向量。可以看成是M*N的单词-文档矩阵A。A(i,j)=第i篇文章中词典索引为j的词语出现的次数，即词频TF。 四、TF-IDF模型：在one-hot基础上，A(i,j)的值由词频变成了词频*逆文档频率。...

分词模式分为：全模式、精确模式、搜索引擎模式。 nlp常用技术：分词、命名实体识别、词性识别。 nlp常用软件包：NLTK，gensim，jieba,stanfordcorenlp,hanlp。 如何处理分词分错的情况：加载自定义字典。 如何处理多个词组成的短语的情况：自定义语法规则。 如何过滤掉不符合常规的词，比如标点符号：N-GRAM、TF-IDF 当分词字典的词冲突,相互影响该...

https://github.com/fighting41love/funNLP https://www.toutiao.com/a6661435961336922628/

之前就有想过要开博客记录下自己的NLP之路，不过

1.NLTK模块 2.常用操作 词密度-重复率 def lexical_diversity(text): #词密度-重复率 return len(text) / len(set(text)) 搜索单词 text1.concordance("monstrous") 搜索相似度 text1.similar("monstrous") 搜索共同上下文 text2.commo...