李宏毅《DLHLP》学习笔记8 - 语音分离（Speech Separation）

目录

李宏毅 DLHLP 深度学习人类语言处理 HW1

本文主要介绍了语音分离任务中的评估指标，包括信噪比(SNR)和幅度不变信号失真比(SI-SDR/SI-SNR)等；同时讨论了样本排列问题、深度聚类、PIT以及TasNet等技术应用在语音分离任务中的优缺点和发展。此外，还探讨了未知说话人数、多麦克风、视觉信息和任务导向优化等方面的研究。

人类很神奇，在嘈杂的环境中，人类可以只专注于听其中一种声音，这就是鸡尾酒会效应。Speech Separation要做的事情就是，机器跟人一样，把它想要得到的声音从嘈杂的环境抽取出来。本文将讲述Speech Separation的算法。

文章目录介绍Speaker SeparationEvaluationPermutation IssueDeep ClusterringMaskingIdeal Binary Mask (IBM)Deep Clustering 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站 B站视频 公式输入请参考：在线Latex公式 Speech Separation: • Humans can focus

文章目录介绍TasNet – Time-domain Audio Separation Network 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站 B站视频 公式输入请参考：在线Latex公式 TasNet – Time-domain Audio Separation Network [Luo, et al., TASLP’19] 直接看其架构 可以看到整个模型的输入和输出是声波，不用

端到端的 TasNet 的模型结构，以及Speech Sparation 语音分离领域的前沿研究领域及其扩展等。

在本篇开始我们继续讲解 Text-to-Speech (TTS) Synthesis 语音合成，输入文字产生声音，我们会从四个方面来讲：本篇将讲解1和2 1 TTS before End-to-End ：在端到端技术之前TTS是怎么做的 2 Tacotron: End-to-end TTS ：硬train一发的时代 3 Beyond Tacotron ：硬train一发的后时代 4 Controllable TTS ：怎么控制TTS合出我们要的声音

Speech Separation

语音分离技术入门：Speech Separation Paper Tutorial 项目简介 是一个专注于语音信号处理和分离领域的开源教程项目，由 Jusper Lee 创建并维护。它旨在帮助初学者理解并实践语音分离的技术，同时为研究者提供了一个有价值的资源库，包含了大量相关论文的解读和实现代码。 技术分析 该项目的核心是利用深度学习技术进行声音源的分离。常见的方法包括深度神经网络（DNN）、卷积...

LM的作用是预测token sequence出现的概率。对于输出文本的模型，LM通常都是很有帮助的。 N-gram LM 有smooth的问题，然后，引出Continuous LM，再进一步扩展到Deep Learning based LM.传统的LM是N-gram LM，下面介绍一下N-gram LM的技术细节。常见的N-gram有2-gram，3-gram，。。。 局限是什么？估计的概率可能并不准确。在Deep Learning技术出现之前，使用的方法叫continuous LM，这是一个源于推荐系统

最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...

首先呢，我们来看看什么是Speech Separation问题。 人们可以在一个嘈杂的环境中识别出一个特定声音的来源，这个叫做鸡尾酒会效应。 这种应用到机器学习领域，我们要做的就是语音增强：语音-非语音分离（降噪）。 而Speech Separation就是做不同种类声音的分离的识别工作。 那么我们首先规定一下，本文主要讨论两种声音，单一麦克风以及独立的演讲者（即培训和测试演讲者完全不同）的识别工作，在我们收集数据时，我们可以收集两端时间相同的声音讯号，然后就同时播放形成一段新的声音讯号就可以了。 首先我们

文章目录Speech Separation1. Evaluation1.1 Signal-to-noise ratio（SNR）1.2 Scale invariant signal-to-distortion ratio（SI-SDR）2. Deep Clustering2.1 Masking3. Permutation Invariant Triaining（PIT）4. TasNet - Time-domain Audio Separation Network5. 存在问题5.1 未知说话人的个数5.

基于深度学习的语音分离神器：speech_separation speech_separation Include some core functions and model to handle speech separation 项目地址: https://gi...

Speech separation 现在大热的一个方向，西雅图的腾讯一直在作者方面的研究，chime6上俞老师讲了一个多小时的他们的工作就 能证明该方向有多火， 当前有很多深度学习的方法如deep-clustering, PIT, utterance-PIT, conv-tasnet, dual-rnn， 效果都不错， 时频单元到时域单元。 但会发现很多论文或者网上有的开源的代码都需要WSJ0数据来做， 这个数据集是要钱的，很贵，所以我自 己做了一个separation数据准备的脚本，并且开源.

本文主要是关于语音数据在处理过程中的一些脚本文件以及实例，所有代码只需要更改所需处理的文件路径，输出路径等，全部可运行。