AI-基于sherpa-onnx集成各SST、ASR、TTS模型

原创 已于 2024-12-23 10:05:59 修改 · 3.3k 阅读 · 11 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
AI

当前文章被收录于：

AI
1 篇文章 0 人学习

AI模型相关

订阅专栏 查看详情
于 2024-12-23 10:03:08 首次发布

目录

目标

步骤

下载安装Android Studio

下载安装sherpa-onnx

下载安装NDK

下载预编译的AI模型

编译生成APK

Pre-built APKs

目标

安卓平台上集成各SST、ASR、TTS预训练模型应用

步骤

1、下载安装Android Studio

https://developer.android.google.cn/studio?hl=zh-cn

image.png

2、下载安装sherpa-onnx

https://github.com/k2-fsa/sherpa-onnx

3、下载安装NDK

打开Android Studio，打开sherpa-onnx/android/SherpaOnnx.

image.png

image.png

image.png

设置环境变量ANDROID_NDK以供后续使用

export ANDROID_NDK=NDK路径

编译 sherpa-onnx (C++)

装完NDK，可以编译sherpa-onnx (C++)，以编译　arm64-v8a安卓ABI为例

cd sherpa-onnx # Go to the root repo
./build-android-arm64-v8a.sh

编完可以发现如下动态库

ls -lh build-android-arm64-v8a/install/lib/

-rw-r--r--  1 fangjun  staff    15M Jul 28 12:54 libonnxruntime.so
-rwxr-xr-x  1 fangjun  staff   3.7M Jul 28 12:54 libsherpa-onnx-jni.so

把它们拷贝到 android/SherpaOnnx/app/src/main/jniLibs/arm64-v8a/

image.png

Note：也可以直接在如下网址下载编译好的动态库并替换

https://github.com/k2-fsa/sherpa-onnx/releases

4、下载预编译的AI模型

以sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20为例

如下网址找到该模型并下载

https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html#sherpa-onnx-pre-trained-models

只保留如下文件并复制到asserts路径下

image.png

5、编译生成APK

OnlineRecognizer.kt文件中确认模型对应哪个入参，这里对应的是0

image.png

在MainActivity中修改type值为0

image.png

adb连接终端，build APK进去并运行看效果

Screenshot_20241221_161059.png

Pre-built APKs

在如下网址可以找到已有预编译的APK，可自行安装体验

https://k2-fsa.github.io/sherpa/onnx/android/prebuilt-apk.html

标签
#SST #ASR #TTS #sherpa-onnx #安卓
sherpa-onnx流式ASR模型
09-26
sherpa-onnx流式ASR模型 或者去sherpa官网下载对应模型 模型名 sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20
java调用sherpa-onnx 文字转换语音TTS 镜像离线部署直接调用，已经编译好相关文件和模型
11-26
java调用sherpa-onnx 文字转换语音TTS 镜像部署直接调用，已经编译好相关文件和模型， sherpa-onnx 是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD）等功能。该项目支持在没有互联网连接的情况下本地运行，适用于嵌入式系统、Android、iOS、Raspberry Pi、RISC-V 和 x86_64 服务器等多种平台。 sherpa-onnx 提供了以下核心功能：语音识别（Speech-to-Text, ASR）：支持流式和非流式语音识别。 文本转语音（Text-to-Speech, TTS）：将文本转换为语音。 说话人识别（Speaker Recognition）：包括说话人验证和说话人识别。 语音活动检测（Voice Activity Detection, VAD）：检测语音中的活动部分。 关键词检测
【语音识别部署】— sherpa-onnx：让 ASR 模型跑得更快、跑在任何地方
花间相见的博客
05-20 1107
文章摘要 sherpa-onnx是一个专注于语音识别(ASR)模型高效推理的开源库，由k2-fsa项目组维护。它基于ONNX Runtime，支持将多种ASR模型(如Paraformer、Whisper等)导出为ONNX格式进行跨平台部署。主要特点包括：轻量级(不依赖PyTorch)、支持多平台(Linux/Windows/移动端等)、提供多种语言绑定、同时支持流式和非流式识别。文章详细介绍了sherpa-onnx的安装方法、模型下载方式，并提供了非流式识别和实时流式识别的Python代码示例，展示了如何将
RK3566嵌入式部署终极实战：sherpa-onnx流式语音识别高效落地指南
gitblog_00688的博客
06-17 650
在嵌入式设备上实现高性能语音识别一直是AI落地的技术难点，特别是在资源受限的RK3566开发板上部署实时流式语音识别系统。sherpa-onnx作为基于ONNX Runtime的下一代Kaldi语音处理框架，为嵌入式平台提供了完整的语音识别解决方案。本文将通过实战经验，深度解析在RK3566上部署sherpa-onnx流式语音识别的技术挑战与解决方案。 ## 技术挑战与核心问题分析 ⚡ 在RK
如何在RK3566上高效部署sherpa-onnx流式语音识别：3个关键解决方案
最新发布
gitblog_00440的博客
07-07 673
sherpa-onnx作为基于ONNX Runtime的高性能语音识别框架，为嵌入式设备提供了离线语音识别、语音合成、说话人分离等完整解决方案。本文将深入探讨在RK3566开发板上部署sherpa-onnx流式语音识别模型的技术挑战与实战经验，特别是针对zipformer模型在RKNN运行时的适配问题。 [![sherpa-onnx流式语音识别iOS界面](https://raw.gitcode
开源项目Sherpa-onnx：全平台离线语音识别的轻量级高性能引擎
qq_25137439的博客
09-27 3001
Sherpa-onnx：离线语音识别的跨平台解决方案 Sherpa-onnx是由K2-fsa团队开发的开源、轻量级语音识别与合成库，基于ONNX格式实现跨平台部署。核心优势包括：支持Linux/Windows/macOS/Android/iOS等多平台；零依赖设计，提供预编译二进制文件；兼容Transducer、ParaFormer、Whisper等多种语音模型；具备流式和非流式识别能力。技术架构采用ONNX中间层实现模型与运行时的解耦，通过优化计算图调度和K2解码算法提升效率。典型应用于智能家居、实时字幕
sherpa-onnx说话人识别+语音识别自动开启（VAD）+语音识别Python API
lstef的博客
06-17 4834
实现实时语音识别，自动识别语音开始结束，识别讲话人身份
snowboy+新一代kaldi（k2-fsa）sherpa-onnx实现离线语音识别【语音助手】
热门推荐
殷长庆的博客
08-08 1万+
本系列主要目标初步完成一款智能音箱的基础功能，包括语音唤醒、语音识别(语音转文字)、处理用户请求（比如查天气等，主要通过rasa自己定义意图实现）、语音合成(文字转语音)功能。语音识别、语音合成采用离线方式实现。语音识别使用sherpa-onnx，可以实现离线中英文语音识别。本文用到的一些安装包在snowboy那一篇的必要条件中已经完成了部分构建，在离线语音识别安装完成之后也会把相关代码写道snowboy项目中，语音唤醒之后调用语音识别翻译用户说话的内容。
告别ModelScope魔搭联网依赖！sherpa-onnx + SenseVoice 完全离线语音识别部署指南（2026版，离线语音识别、声纹鉴定、sherpa-onnx、SenseVoice）
开源AI 专属 UI——papyrai-ui。《千界明彻录》（故事形式构建元思维）——胡说小说。更多思辨内容在公众号。
01-21 6311
本文介绍了完全离线的语音识别解决方案sherpa-onnx，解决了FunASR/SenseVoice等工具必须联网校验的问题。文章比较了不同语音识别技术的演进历程，指出sherpa-onnx作为新一代Kaldi项目，具有完全离线、跨平台支持、体积小等优势。详细提供了sherpa-onnx的安装、模型下载和使用方法，并给出批量音频转文字的实际应用代码示例。该方案特别适合内网、边缘设备等无网络环境部署，满足数据安全合规要求。
【免费下载】 开源项目推荐：sherpa-onnx
gitblog_07718的博客
09-13 2685
开源项目推荐：sherpa-onnx 【免费下载链接】sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
sherpa-onnx实现ASR(语音转文字）和 TTS（文字转语音）
C/C++、嵌入式开发、深度学习算法、模型部署与推理优化
10-28 3111
sherpa-onnx 是开源项目，由 k2‑fsa 组织维护，定位为 “部署框架”中 sherpa 的一个子项目。它的核心目标是：支持“语音处理”相关任务（如：语音识别／ASR、语音合成／TTS、说话人识别／Diarization、VAD、关键词唤醒、语言识别等）在多种设备／平台上本地运行，而无需联网。它使用的是 ONNX 格式模型 + ONNX Runtime 作为推理引擎，从而具备跨平台、较好兼容性的特点。K2 FSA+1。
【亲测免费】 强大而全面的语音处理工具——Sherpa-Onnx
gitblog_00354的博客
08-10 2830
强大而全面的语音处理工具——Sherpa-Onnx 【免费下载链接】sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
低延迟小智AI服务端搭建-ASR篇（续）：CPU可跑
u010522887的专栏
04-19 3231
本文分享了`小智AI服务端ASR`的`CPU推理`方案，并对配置和成本进行了估算。
文字转语音——sherpa-onnx语音识别离线部署C++实现
huanrx的博客
04-08 5187
C++项目中接入Sherpa-onnx实现文字转语音功能Windows、VS2022选择动态库是因为能够避免一些配置上的bug。库文件地址：https://huggingface.co/csukuangfj/sherpa-onnx-libs/tree/main 里边有各个平台的库文件，选择最新版本的window 64bit shared下载。 git地址：https://github.com/makdi76/sherpa-onnxsherpa-onnx教程地址：sherpa-onnx — sherpa 1.
sherpa-onnx：让安卓小白也能轻松完成Android端部署
li896889688的博客
03-05 2883
文件内的 getOfflineModelConfig()函数中定义了所有可用模型的数据格式，它与官方模型库提供的模型一一对应。Sherpa-ONNX 的定位就是把这些工程问题“打包解决”：模型准备好（ONNX），你更关注业务逻辑。：真实应用往往要“VAD → KWS → ASR → 后处理 → 指令/意图”，需要工具链。由于官方给的例子为在线模式，即：Online，而我需要的是Android端离线任务，因此。大家可以直接使用我的代码。比如你目前的任务是日语语音转写，如下图序号16所对应的模型。
Sherpa-onnx：开源语音识别框架的突破性进展
gitblog_07119的博客
06-20 1101
Sherpa-onnx：开源语音识别框架的突破性进展 【免费下载链接】sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
【免费下载】 sherpa-onnx 安装和配置指南
gitblog_07717的博客
09-13 7714
sherpa-onnx 安装和配置指南 【免费下载链接】sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
基于sherpa-onnx 安卓语音识别尝鲜
ZLGSPACE的博客
04-16 5793
Sherpa是一个由 K2-FSA 团队 开发的 开源语音处理框架，旨在解决传统语音识别工具（如 Kaldi）在模型部署和跨平台适配中的复杂性问题。它通过整合现代深度学习技术和高效推理引擎，提供了从语音识别、合成到说话人识别的一站式解决方案，尤其在实时性、低资源消耗和跨平台兼容性方面表现突出。ONNX（Open Neural Network Exchange）：即开放神经网络交换格式，是一种用于表示深度学习模型的开放标准文件格式。
sherpa-onnx 项目亮点解析
gitblog_01089的博客
04-23 1114
sherpa-onnx 项目亮点解析 【免费下载链接】sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
Sherpa-ONNX：说话人识别与语音识别自动开启（VAD）+ Python API 完整指南
小蜗牛的珍贵百宝箱
10-11 6319
Sherpa-ONNX 是一个基于 ONNX 的轻量级语音识别框架，支持多种语音处理任务，包括说话人识别（Speaker Recognition）和自动语音识别（Automatic Speech Recognition, ASR）。在本指南中，我们将重点介绍如何使用 Sherpa-ONNX 进行说话人识别、自动开启语音识别（VAD）以及如何通过 Python API 进行操作。通过使用 Sherpa-ONNX，我们成功地实现了说话人识别和语音识别的自动开启。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值