通过LLM提升ASR的准确率

原创 已于 2024-09-06 19:14:06 修改 · 2.2k 阅读 · 29
标签
#RSA #语音识别 #LLM
于 2024-09-06 19:13:36 首次发布

跟随虾哥项目实践，硬件选小智就对了

xiaozhi 开源方案官方适配，二次开发文档齐全

点击查看

背景

现在ASR识别用户语言内容选择的是“中文”，会出现标点符号使用不合适，识别内容不符合语境等问题。现在考虑使用LLM对ASR识别出的内容做校正，输出更适合对话的语境的内容。

目标

  1. 文本校正，符合上下文聊天的语境

  2. 符号校正，选择合适的中英文符号、合理的断句、符号符号文本表达的语气。

Bad Case

文本异常

原文

上下文

期望

我住在hangzhou

[

{

"role": "assistant",

"content": "我叫张老师，你叫什么名字"

},

{

"role": "user",

"content": "我叫张三"

},

{

"role": "assistant",

"content": "你住在哪里？"

}

]

我住在杭州

我叫zhangsan

[

{

"role": "assistant",

"content": "我叫张老师，住在北京，你住在什么地方？"

},

{

"role": "user",

"content": "我住在杭州"

},

{

"role": "assistant",

"content": "你叫什么名字？"

}

]

我叫张三

符号异常

  • 符号

跟随虾哥项目实践，硬件选小智就对了

xiaozhi 开源方案官方适配，二次开发文档齐全

点击查看
最低0.47元/天 解锁文章
ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成
weixin_42357472的博客
03-25 3627
参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts）这里LLM用的是chatglm。
Fun-ASR的大模型LLM-ASR：强化学习+ASR
kakaZhui的博客
12-20 1289
在 Whisper 开启了大规模弱监督训练的时代后，ASR（自动语音识别）的下一个高地无疑是与 LLM（大语言模型）的深度融合。然而，LLM 的“幻觉”本性与 ASR 对“精准逐字”的要求存在天然矛盾。阿里的Fun-ASR，提出了一套包含互补性预训练、多阶段 SFT、GRPO 强化学习以及 RAG 热词增强的完整解决方案，不仅在 Open-Source 榜单上有好的表现，更在真实工业场景中优化了流式延迟、噪声干扰和混合语种识别等核心难题。Fun-ASR 不仅仅是又一个刷榜的 ASR 模型，它代表了。
ASR（自动语音识别）任务中的LLM（大语言模型）
from top to bottom
08-18 9518
用于在训练阶段提供更多的文本数据使解码器可以更好地被训练，在推理阶段不再被使用；在训练期间，其他部分保持不动，仅训练此部分从而得到一个。编码器的隐状态参与计算，利用大语言模型的能力得到更好的解码结果。：由三部分组成，分别是提示文本表征，输入语音表征以及检索到的。模型进行深度结合，统一语音和文本的编码空间或者直接利用。：根据过滤后的语音表征从数据库中查找与该段语音相关的。处理语音序列，并使用卷积网络对其进行下采样；的效果，本文在训练时设计了多种提示词；：手工设计的提示词，为了达到。
基于AI大模型开发应用层产品经典解决方案：ASR+LLM+TTS
东南草堂
11-09 4507
ASR（自动语音识别）功能：将人的语音转换为文本，是整个流程的起始环节，负责接收用户的语音输入并将其转化为计算机可处理的文本信息。技术实现：通常基于深度学习算法，使用大量的语音数据进行训练。例如，采用卷积神经网络（CNN）对语音信号进行特征提取，然后利用循环神经网络（RNN）或 Transformer 架构对提取的特征进行序列建模和文本预测。常见的 ASR 系统有百度的 Deep Speech、科大讯飞的语音识别技术等。
LLM速览篇【61-90】
hjzhang75的博客
10-24 1472
这些研究论文探索了大型语言模型（LLM）在多个领域中的应用与发展。通过对不同工作方向进行分类，我们可以更清晰地看到LLM在对话系统、文本处理、音视频处理以及系统辅助等方面的最新进展。
如何用LLM提升ASR准确率？5种实战技巧帮你搞定语音识别难题
qqq44的博客
02-26 809
本文探讨了如何利用大语言模型提升ASR系统准确率的五种实战技巧。从LLM驱动的生成式纠错与N-best重排序，到上下文感知的转录增强，再到构建轻量级语音-文本对齐适配器及基于LoRA的高效微调，文章提供了从浅度后处理到深度融合的完整工程实践路径，并给出了具体的代码示例和部署优化考量。
如何用LLM提升ASR准确率？实战解析大语言模型在语音识别中的5种融合策略
rust6ferris的博客
02-24 942
本文深入探讨了如何利用大语言模型（LLM）提升自动语音识别（ASR）准确率的5种前沿融合策略，包括浅层重打分、端到端微调、LoRA适配、语音离散化和流式处理。通过实战案例和技术解析，展示了LLM在语音识别中的显著效果，如在CallHome数据集上WER降低13%，为开发者提供了从技术选型到落地实践的完整指南。
如何用LLM提升ASR准确率？实战解析Whisper与Voxtral的深度集成技巧
tcp8optimizer的博客
02-14 179
本文探讨了如何利用大语言模型（LLM）提升自动语音识别（ASR）的准确率，详细解析了Whisper Turbo与Voxtral Mini的深度集成技巧。通过技术演进、实战优化和多任务处理能力的对比，展示了LLM在语音识别领域的革命性应用，帮助开发者构建更智能的语音处理系统。
Linly-Talker如何提升非标准普通话识别准确率？
weixin_29138345的博客
12-20 325
Linly-Talker通过融合多样化口音数据训练的ASR模型与LLM语义纠错机制，显著提升对方言、口音和口语化表达的识别准确率。系统先由声学模型粗略转写语音，再利用语言模型结合上下文进行智能修正，实现从‘听清’到‘听懂’的跨越，让AI真正适应真实用户的说话方式。
AI语音底层逻辑，对ASR、LLM、TTS等原子能力有所了解，对语音语调、情绪表现、声音合成等维度有自己的理解，可以判断出适合业务定位的语音表现
百态·数智思维 | 聚焦大数据、量化与未来AI
11-15 1146
在当今科技飞速发展的时代，AI 语音技术正逐渐成为各领域关注的焦点。其中，ASR（自动语音识别）、LLM（大语言模型）和 TTS（语音合成）等原子能力在 AI 语音领域发挥着至关重要的作用。ASR 技术能够将语音自动转换为文本，为后续的处理和分析提供基础。它涉及到声学模型、语言模型等多个方面的技术，通过对大量语音数据的学习和训练，不断提高识别准确率。例如，阿里云语音已拥有 5 万多家客户，包括中移动、中央电视台、招商银行、字节跳动等，覆盖教育、金融、出行等数十个场景，其中就离不开 ASR 技术的支持。
从Siri到ChatGPT：语音助手技术栈全解析（含ASR、LLM、TTS最新开源方案对比）
最新发布
weixin_29041195的博客
03-21 254
本文全面解析了从Siri到ChatGPT的语音助手技术栈，涵盖语音识别(ASR)、大语言模型(LLM)和语音合成(TTS)三大核心模块。通过对比最新开源方案，如Whisper、FunASR、Llama3等，为开发者提供技术选型指南，帮助构建高效、自然的AI语音对话系统。
ASR语音识别纠错-fast correct
sslfk的博客
03-12 4426
vi train_pretrain.sh (第9行数据赋值为data-bin，第12行为data-pretrain，第13行修改增加CUDA_VISIBLE_DEVICES=3,4)align_cal_werdur_v2.py original_query_file target_query_file 可以将纠错内容进行对齐生成对齐数据集。**********************下载sentencepiece对应的模型*************************************
使用CUDA部署LLM、TTS、ASR三种类型的开源模型
sora33的博客
06-06 1750
前言 目前 AI 的入门门槛已大幅降低，对硬件性能的要求也不再严苛。所以想写一篇基于如何使用 NVIDIA 显卡来跑目前比较热门的模型，这篇文章我会从环境配置到模型部署，每个流程都尽量细致入微
AI辅助开发实战：如何用LLM与ASR/TTS构建智能语音交互系统
2600_94960082的博客
01-25 470
基于火山引擎豆包大模型，从零搭建一个实时语音通话应用。它不是简单的问答，而是需要你亲手打通 ASR（语音识别）→ LLM（大脑思考）→ TTS（语音合成）的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说，这是个绝佳的练手项目。架构理解：掌握实时语音应用的完整技术链路（ASR→LLM→TTS）技能提升：学会申请、配置与调用火山引擎AI服务定制能力：通过代码修改自定义角色性格与音色，实现“从使用到创造”从0到1构建生产级别应用，脱离Demo，点击打开。
ASR与LLM协同优化：构建高精度AI辅助开发工作流
2600_94960103的博客
01-14 937
基于火山引擎豆包大模型，从零搭建一个实时语音通话应用。它不是简单的问答，而是需要你亲手打通 ASR（语音识别）→ LLM（大脑思考）→ TTS（语音合成）的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说，这是个绝佳的练手项目。架构理解：掌握实时语音应用的完整技术链路（ASR→LLM→TTS）技能提升：学会申请、配置与调用火山引擎AI服务定制能力：通过代码修改自定义角色性格与音色，实现“从使用到创造”从0到1构建生产级别应用，脱离Demo，点击打开。
本地端到端语音(ASR-LLM-TTS)
m0_52919859的博客
06-04 3548
你有没有想象过在本地快速搭建一个完整的语音对话系统？只需一台普通电脑，无需联网，甚至低算力设备也能流畅运行。这篇博客将手把手带你实现一个端到端的语音交互系统，从语音输入到语音回复，全链路完整展示。ASR-LLM-TTS Onnx 项目实现一个在本地运行的端到端语音对话系统，能够完成“语音 -> 文本 -> 对话回复 -> 语音”的全过程。项目地址：https://github.com/muggle-stack/asr-llm-tts。
AIoT应用开发：搞定语音对话机器人=ASR+LLM+TTS
u010522887的专栏
09-20 4692
我们已经给开发板装上了：`大脑` + `耳朵` + `嘴巴`，并实现了实时语音对话，一个 AI 机器人的雏形总算捏出来了。
如何利用LLM模型提高语音识别技术的准确性
东海陈光剑的博客：禅与计算机程序设计艺术
12-31 1305
1.背景介绍 语音识别技术是人工智能领域的一个关键技术，它能将人类的语音信号转换为文本，从而实现人机交互、语音搜索、语音助手等多种应用。随着大数据、深度学习等技术的发展，语音识别技术也得到了很大的进步。在这篇文章中，我们将讨论如何利用语言模型(Language Model，LLM)模型提高语音识别技术的准确性。 2.核心概念与联系 2.1 语音识别技术 语音识别技术，又称语音转文本(Spe...
【大模型论文】Seed-ASR:基于llm的语音识别理解不同的语音和上下文
bugyinyin的博客
08-29 2971
在上下文感知微调阶段，Seed-ASR模型通过生成与转录文本相关的自然语言上下文，并使用这些上下文和语音表示进行训练，从而增强模型在复杂语境下的识别能力。这篇论文提出的Seed-ASR模型通过阶段化的训练方法，包括SFT、Context SFT和RL，在多个评估集上表现出显著的性能优势。1.高识别准确率：通过在超过2000万小时的语音数据和近90万小时的配对ASR数据上进行训练，Seed-ASR(CN)和Seed-ASR(ML)在公共数据集和内部综合评估集上取得了令人印象深刻的成果。
BetterOCR：多引擎OCR与LLM结合的文本识别工具
gitblog_00966的博客
01-14 497
BetterOCR是一个开源项目，旨在通过结合多种OCR引擎（EasyOCR、Tesseract和Pororo）以及LLM（大型语言模型）来提高文本识别的准确性。该项目主要使用Python编程语言开发。 ## 核心功能 该项目的主要功能包括： - **多引擎OCR识别**：通过结合EasyOCR、Tesseract和Pororo三种OCR引擎，提高对不同语言和复杂背景下的文本识别能力。 -
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李昂的数字之旅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值