AI视野·今日CS.NLP 自然语言处理论文速览
Fri, 4 Jun 2021
Totally 62 papers
👉上期速览✈更多精彩请移步主页
Daily Computer Vision Papers
| A Dataset and Baselines for Multilingual Reply Suggestion Authors Mozhi Zhang, Wei Wang, Budhaditya Deb, Guoqing Zheng, Milad Shokouhi, Ahmed Hassan Awadallah 回复建议模型帮助用户流程电子邮件并更快地聊天。以前的工作只研究英语回复建议。相反，我们展示了MRS，这是一个具有十种语言的多语言回复建议数据集。 MRS可以用于比较两个模型的一个家庭1检索模型，可以从修复集和2个生成模型中选择从头开始的2个代码。因此，MRS补充了现有的交叉语言泛化基准，重点关注分类和序列标签任务。我们为MRS构建一个代表模型和检索模型作为基线。两种型号在单机设置中具有不同的优势，它们需要不同的策略来拓展语言。 MRS公开提供 |
| Semantic-WER: A Unified Metric for the Evaluation of ASR Transcript for End Usability Authors Somnath Roy 近期监督，半监督和自我监督的深度学习算法的进步表明了自动语音识别ASR系统性能的显着改善。最先进的系统已经实现了小于5的字错误率。然而，在过去，研究人员已经争论了WER度量的不适合性，以评估ASR系统，用于下游任务，例如语言理解SLU和信息检索。原因是WER在表面级工作，不包括任何句法和语义知识。当前的工作提出了语义WER SWER，一个指标，用于评估下游应用程序的ASR转录物。可以为任何下行流任务轻松自定义SWER。 |
| Provably Secure Generative Linguistic Steganography Authors Siyu Zhang, Zhongliang Yang, Jinshuai Yang, Yongfeng Huang 生成语言隐写术主要利用语言模型，并应用了书签采样吊带，以产生高安全性的隐写文本stegotext。然而，以前的方法通常导致STEGOTEXT和自然文本的条件概率分布之间的统计差异，这带来了安全风险。在本文中，为了进一步确保安全性，我们提出了一种新颖的可提供安全的生成语言隐写方法ADG，其根据诸如OFF货物模型的概率根据其概率来递归地嵌入奇怪信息。我们不仅证明了数学上的ADG的安全性，而且还对三个公共集团进行了广泛的实验，以进一步验证其难以察觉。实验结果表明，该方法能够产生具有近乎完美安全性的STEGOTEXT。 |
| A Case Study of Spanish Text Transformations for Twitter Sentiment Analysis Authors Eric S. Tellez, Sabino Miranda Jim nez, Mario Graff, Daniela Moctezuma, Oscar S. Siodia, Elio A. Villase or 情感分析是一种文本挖掘任务，可以决定给定文本的极性，即其积极性或消极性。最近，鉴于在微博博平台中的意见攻击兴趣，它得到了很多关注。这些新形式的文本表达目前在鉴于使用俚语，正交和语法错误等方面存在新的挑战。随着这些挑战，实际的情感分类器应该能够有效地处理大量工作负载。 |
| CCPM: A Chinese Classical Poetry Matching Dataset Authors Wenhao Li, Fanchao Qi, Maosong Sun, Xiaoyuan Yi, Jiarui Zhang 诗歌是人类最重要的艺术形式之一。最近，许多研究侧重于将诗歌的一些语言特征纳入其理解或发电系统的诗歌，如风格和情绪。但是，没有专注于理解或评估诗歌的语义。因此，我们提出了一项新的任务来评估诗歌匹配的诗歌模型的语义理解。具体来说，根据一系列诗歌的现代汉语翻译，这项任务要求模型在四个候选人中选择一行中国古典诗歌。要构建此数据集，我们首先获得中国古典诗歌和现代中文翻译的一套并行数据。然后我们将类似的诗歌中的诗歌与诗歌语料库中的线条作为负面选择。我们命名DataSet中文古典诗歌匹配数据集CCPM并释放它 |
| DialogueCRN: Contextual Reasoning Networks for Emotion Recognition in Conversations Authors Dou Hu, Lingwei Wei, Xiaoyong Huai 谈话中的情感认可ERC正在增加促进智能机器的关注。最近，许多方法已经致力于通过深入学习模式感知会话环境。然而，由于缺乏缺乏提取和整合情绪线索的能力，这些方法不足以理解上下文。在这项工作中，我们提出了新颖的语境推理网络对话框来完全理解认知角度的会话背景。灵感来自于认知情感理论，我们设计多匝推理模块以提取和整合情绪线索。推理模块迭代地执行直观的检索过程和有意识的推理过程，其模仿人类独特的认知思维。在三个公共基准数据集上进行了广泛的实验，证明了所提出的模型的有效性和优越性。 |
| SOCCER: An Information-Sparse Discourse State Tracking Collection in the Sports Commentary Domain Authors Ruochen Zhang, Carsten Eickhoff 在追求自然语言的理解中，在叙事中追踪态度的变化已经存在很长时间的兴趣。在建模交易以中心对话和程序文本的状态建模方面取得了令人印象深刻的进展。然而，这个问题在一般话语的领域中已经不太积极研究了各国的实际描述可能是松散定义的，并且状态变化较小地分布在话语上。本文建议转向简化，完全可观察的系统，这些系统展示了其中一些属性体育赛事。我们策划了2,263场足球比赛，包括盖章的自然语言评论，伴随着团队评分目标，切换球员或与卡处罚等离散事件。我们提出了一项新的任务制定，鉴于不同时间戳的游戏评论段落，系统被要求识别游戏事件的发生。此域允许丰富的状态说明，同时避免许多其他现实世界的复杂性。作为初始性能测量的初始点，我们包括两个基线方法，从句子分类的角度分别与艺术生成模型的时间依赖和当前状态，并证明了在定义时甚至复杂的现有方法在状态跟踪任务上挣扎国家扩大或非事件喋喋不休变得普遍。 |
| The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models Authors Ulme Wennberg, Gustav Eje Henter 用于编码位置信息的机制是基于变压器的语言模型的核心。在本文中，我们分析了现有语言模型的位置嵌入，找到了对嵌入行为的强烈证据，无论是对胚胎本身还是对自我关注的影响。在训练期间，翻译不变性的程度随着模型性能而与模型性能正相关。我们的调查结果导致我们提出翻译不变的自我注意TISA，这在不需要常规位置嵌入的情况下以可解释的方式占代币之间的相对位置。我们的建议对现有位置代表方法具有几种理论优势。实验表明，它可以改善普瑞艾伯特对胶水任务，同时只添加数量幅度的位置参数。 |
| GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling Authors Libo Qin, Fuxuan Wei, Tianbao Xie, Xiao Xu, Wanxiang Che, Ting Liu 多型SLU可以在话语中处理多个意图，这引起了不断的关注。然而，最先进的联合模型依靠自回归方法，导致两个问题减慢推理速度和信息泄漏。在本文中，我们探索了联合多种意图检测和槽填充的非自动评级模型，实现更快速和准确。具体地，我们提出了一个全球局部图形交互网络GL GIN，其中提出了一个本地插槽识别图形交互层，以便在引入全局意图插槽相互作用层时模拟不协调的插槽问题来模拟多个意图之间的交互来模拟不协调的槽问题。话语中的插槽。两个公共数据集上的实验结果表明，我们的框架实现了艺术表现的状态，而速度速度速度为11.5倍。 |
| Representing Syntax and Composition with Geometric Transformations Authors Lorenzo Bertolini, Julie Weeds, David Weir, Qiwei Peng 对语法图SYG的利用作为一个单词的语境，已被证明是有益的分布语义模型DSM，无论是通过组合的单词表示和推导短语表示。然而，尽管存在潜在的性能效益，但与传统DSM相比，迄今为止提出的语法意识的DSM具有大量的参数，并遭受数据稀疏性。此外，Syg链路的编码I.，句法关系大大限制为线性图。另一方面，知识图表文献已经提出了采用不同几何变换GT的轻量级模型来编码知识图kg中的边缘。我们的工作探讨了采用该系列模型来编码SYG的可能性。此外，我们调查GT更好地编码句法关系，从而可以通过语法语境构造来使用这些表示来增强短语级组成。 |
| SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization Authors Yixin Liu, Pengfei Liu 在本文中，我们展示了一个概念上简单的抽象摘要概念，可以通过将当前主导的序列逐序通过将文本生成作为参考免费评估来弥合当前主导的序列来施加学习目标和评估度量之间的差距来弥合学习目标和评估度量之间的差距问题一，质量估计通过对比学习辅助。实验结果表明，随着现有的顶级评分系统的微小修改，SIMCLS可以通过大边距提高现有顶部表演模型的性能。特别是，在CNN Dailymail数据集上的Pegasus W.R.T Rouge 1上的2.51对BART和2.50的绝对改善。在新级别推动最先进的绩效状态。我们开设了我们的代码和结果 |
| Defending against Backdoor Attacks in Natural Language Generation Authors Chun Fan, Xiaoya Li, Yuxian Meng, Xiaofei Sun, Xiang Ao, Fei Wu, Jiwei Li, Tianwei Zhang 神经网络模型的令人沮丧的脆弱性质使目前的自然语言生成NLG系统容易出现后门攻击并产生可能是性别歧视或攻击性的恶意序列。不幸的是，已经投入了很少的努力，以如何影响当前的NLG模型以及如何防御这些攻击。在这项工作中，我们调查了两个重要的NLG任务，机器翻译和对话一代问题。通过为后门攻击和防御提供正式的定义，以及开发相应的基准，我们设计攻击NLG模型的方法，这实现了高攻击成功，以便询问NLG模型生成恶意序列。为了防御这些攻击，我们建议通过检查删除或替换生成输出上的某些单词的效果来检测攻击触发，我们找到了某些类型的攻击。我们将讨论这项工作的限制，并希望这项工作能够提高隐藏在深NLG系统中的后门风险的认识。代码和数据可用 |
| Exploring Distantly-Labeled Rationales in Neural Network Models Authors Quzhe Huang, Shengqi Zhu, Yansong Feng, Dongyan Zhao 最近的研究努力将各种人为理 |
扫一扫
1565
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
