TE2E和GE2E损失函数区别

最新推荐文章于 2025-12-16 13:54:12 发布
原创 最新推荐文章于 2025-12-16 13:54:12 发布 · 3.7k 阅读 · 8
标签
#GE2E #TE2E #LOSS函数 #Triplet Loss

谷歌提出了两种损失函数TE2E（Tuple-based end-to-end）、GE2E（Generalized end-to-end）.今天对这两种进行记录。

一、TE2E

  1. 在训练中分为2个阶段：登记和检验。每步训练中数据包含 xj∼x_{j∼}xj∼​和M个登记会话xkmx_{km}xkm​（for m = 1…M）， 可以用 { xj ,(ek1,ek2...ekM)x_{j~},(e_{k1},e_{k2}...e_{kM})xj ​,(ek1​,ek2​...ekM​)}表示，可以被喂入LSTM网络中，其中X表示特征， j，k表示说话者，j与k可能相等也可能不相等。
    积极者： 如果 xj∼x_{j∼}xj∼​和M个会话的说话者是同一个人时；
    消极者： 如果xj∼x_{j∼}xj∼​和M个会话的说话者不是是同一个人时；

  2. L2正则化
    将 { xj∼,(ek1,ek2...ekM)x_{j∼},(e_{k1},e_{k2}...e_{kM})xj∼​,(ek1​,ek2​...ekM​)} 正则化后，用e为向量，表示正则化后的向量{ ej∼,(ek1,ek2,...ekMe_{j∼},(e_{k1},e_{k2},...e_{kM}ej∼​,(ek1​

最低0.47元/天 解锁文章
dvector:受GE2E损失训练的说话人嵌入（d矢量）
05-04
D向量 这是经过GE2E损失训练的扬声器嵌入的PyTorch实现。 有关GE2E丢失的原始文章可以在这里找到： 用法 import torch import torchaudio wav2mel = torch . jit . load ( "wav2mel.pt" ) dvector = torch . jit . load ( "dvector.pt" ). eval () wav_tensor , sample_rate = torchaudio . load ( "example.wav" ) mel_tensor = wav2mel ( wav_tensor , sample_rate ) # shape: (frames, mel_dim) emb_tensor = dvector . embed_utterance ( mel_tensor ) # shape: (emb
GE2E论文学习
qq_28662689的博客
12-26 3079
本文主要记录GE2E的理论知识学习，防止遗忘，方便以后复习。 论文地址： https://arxiv.org/abs/1710.10467 论文的整体翻译： GENERALIZED END-TO-END LOSS FOR SPEAKER VERIFICATION 该文提出了一种新的损失函数，称为广义端到端（GE2E）损失，它使说话人验证模型的训练比我们以前的基于元组的端到端（TE2E）损失函数更有...
通用的端到端损失函数 (generalized end-to-end loss, GE2E)简单原理和代码
niu_nini的博客
04-11 1042
TD-SV对用于验证的语音的内容有一定的限制，一个比较常见的例子是唤醒手机的语音助手，比如Siri，这个时候我们需要说出一个固定的句子“Hey, siri”。相反，TI-SV则不对语音的内容有任何限制。的不同语音中得到的speaker embedding，而negative data则是不同于anchor的speaker的embedding。TE2E会使得anchor和positive data之间的相似度提升，同时降低anchor和negative data之间的相似度，从而区分了不同的speaker。
ge2e代码解析
weixin_40680322的博客
03-20 1763
GitHub代码 一、main.py A. 功能： 实施此文件后，将开始培训或测试。 B. 函数 · 功能： 一、01-trn_RawNet.py A. 功能： B. 函数 · 功能：
Loss损失函数
qq_36271653的博客
07-06 1571
损失在网络的用法
【论文学习】《Generalized End-to-End Loss for Speaker Verification》
求求你们别卷了
11-26 3291
《Generalized End-to-End Loss for Speaker Verification》论文学习 文章目录《Generalized End-to-End Loss for Speaker Verification》论文学习  摘要  1 介绍    1.1 背景    1.2 基于元组的端到端损失    1.3 概述  2 广义的端到端模型    2.1 训练方法  &
用不同的损失函数训练神经网络初探
SrdLaplace的博客
08-29 2984
Similarity Learning and Loss Function Similarity Learning也叫metric learning，是为了学习在原特征空间上的线性或非线性变换，使得在新的特征空间上相似度或者距离满足一定的性质。 深度学习在设计很多loss就用到了metric learning的想法。把最后一层特征空间作为新的度量空间，加入一些相应的loss，使得度量空间满足一...
使用RSVP-TE配置跨域的MPLS TE隧道
衡水铁头哥的博客
01-31 1310
正文共：1234 字 14 图，预估阅读时间：2 分钟通过上次实验（使用RSVP-TE配置MPLS TE隧道），我们发现：使用扩展后的RSVP（Resource Reservation Protocol，资源预留协议）作为MPLS TE的标签分发协议，可以在沿着指定路径分发MPLS标签的同时携带资源预留信息，以建立CRLSP（Constraint-based Routed Label Switch...
广义端到端（GE2E）自动驾驶技术综述：范式演进、核心挑战与破局路径
最新发布
Bonaventure的博客
12-16 1288
广义端到端技术的成熟，终将推动自动驾驶从“特定场景落地”走向“全场景规模化应用”，最终实现“更安全、更高效、更舒适、更普惠”的智能出行目标，完成20年来行业从业者的共同初心——造出能真正替代人类司机的机器。作为连接学术研究与产业落地的桥梁，该框架的核心价值在于打破了不同端到端路径的技术壁垒，揭示了“感知-决策-控制”全链路数据驱动的统一演进方向，同时回应了行业对“如何平衡技术先进性与工程可行性”的核心关切，为L2+辅助驾驶向L4级全自动驾驶的跨越提供了清晰的技术路线图。混合端到端（Hybrid E2E）
GE2E论文翻译
weixin_40680322的博客
05-07 304
【参考】 GE2E论文学习
GENERALIZED END-TO-END LOSS FOR SPEAKER VERIFICATION
qq_40703471的博客
12-15 672
GENERALIZED END-TO-END LOSS FOR SPEAKER VERIFICATION（说话人验证的广义端到端损失） 1.2 Tuple-Based End-to-End Loss 基于元组的端到端损失模拟了训练过程中，注册和评估的两个阶段。 以元组作为输入，元组是由J的单个话语和M的不同话语组成的。对于每一个输入的元组，都会计算它经LSTM的L2标准化响应。元组的质心，代表M个发音的声纹。 使用余弦相似度来评判。考虑对正元组和负元组的更新，这个损失函数与FaceNet中的三元组损失非常相
GE2E Speaker Verification复现
程序的魅力
06-16 484
今天正式开始研究基于深度学习的声纹识别。之前看过一点kaldi的关于声纹识别的代码，基本还是基于i-vector的，不得不说这是比较传统的，过时的方法。现在深度学习在声纹确认/shibie
基于 Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis 的语音克隆复现论文阅读
weixin_44506546的博客
09-07 2408
原文链接 目录从说话人验证到多说话人文本到语音合成的迁移学习概述SV2TTS旨在解决的任务 从说话人验证到多说话人文本到语音合成的迁移学习 概述 我们的实时语音克隆方法主要基于 SV2TTS 。它描述了一个零样本语音克隆框架，只需要 5 秒的参考语音。这篇论文只是谷歌撰写的 Tacotron 系列的众多出版物之一。有趣的是，SV2TTS 论文本身并没有带来太多创新，而是基于谷歌的三个主要早期工作：GE2E loss、Tacotron 和 WaveNet 。完整的框架是一个三阶段的流水线，其中的步骤对应于之前
中文语音克隆现阶段总结
weixin_42955958的博客
08-13 1139
模型 gmw: ge2e_pretrained.pt: 作为encoder（声音编码器） 用的是已经训练好的模型 模型的主要功能是：接受到说话人音频，然后转成一个向量作为speaker embedding； 同时利用了ge2e loss，参考这篇论文：Generalized End-to-End Loss for Speaker Verification，实现了speaker verification，将每个人说的所有话能够聚类到一起，而又和其他人说的话分隔的足够远 mellotron.kuangdd-
说话人验证论文翻译：Generalized end-to-end loss for speaker verification
凌逆战的博客
02-22 2611
在本论文中，我们提出了一种新的损失函数，称为广义端到端( generalized end-to-end，GE2E)损失，使得说话人验证模型的训练比以往基于元组的端到端（tuple based end to end，TE2E）损失函数更加有效，与TE2E不同，GE2E损失函数以强调实例的方式更新网络，这些实例在训练过程的每个步骤中都难以验证。此外，GE2E损失不需要选择示例的初始阶段。利用这些特性，我们的新损失函数模型使说话人验证EER降低了10%以上，同时使训练时间减少了60%。从而学习出一个更好的模型。我
声纹识别综述+一个简易的tensorflow实现的模型
热门推荐
SrdLaplace的博客
08-22 1万+
声纹识别的历史和一个简单的声纹识别模型
声纹识别笔记（二）提取ivector与PLDA流程概述以及最新模型
一听音频技术
04-11 4073
GMM-UBM GMM：均值、方差、权重 UBM：共性特征 i-vector MAP说话人自适应 m：UBM的均值（已知） s：把UBM针对特定说话人调整成GMM，GMM的均值（通过特征得到） T：训练得到 w：特定说话人的ivector 一般只更新均值，不更新方差 DNN-based ivector d-vector 输入之前的30帧和之后的10帧，总共4...
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 不跨语言实验观察
ruclion的专栏
03-10 469
0. 说明 训练的还可以, 跑一下 Inference 张阳的 ASV 我还不会用, 所以只能从已有的每个人的 Speaker Embedding 中选取 1. 选取 Reference Speech /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/mel-SSB00050119-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/sp
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值