Huggingface入门实践 Audio-NLP 语音-文字模型调用（一）

吴恩达LLM-Huggingface_哔哩哔哩_bilibili

目录

0. huggingface 根据需求寻找开源模型

1. Whisper模型 语音识别任务

2. blenderbot 聊天机器人

3. 文本翻译模型translator

4. BART 模型摘要器（summarizer）

5. sentence-transformers 句子相似度

0. huggingface 根据需求寻找开源模型

https://huggingface.co/models 可以在huggingface官网上找对应的模型

根据任务task(CV NLP 多模态之类) language 等指标进行筛选。

还可以在右上角的Tasks里 了解各种机器学习任务

pipeline 是一个来自 Hugging Face Transformers 库的高级接口。 可以快速调用预训练模型完成常见任务，比如：文本分类、翻译、摘要、问答、语音识别等等。调用方式如下：

from transformers import pipeline

我们后续会进行一些示例的调用 系统先会进行模型的下载和保存，建议事先设置一下环境变量HF_HOME 到某一希望保存的路径，比如 'D:\huggingface_cache' 。

1. Whisper模型 语音识别任务

例如在tasks中挑选了一个 语音识别任务 Automatic Speech Recognition 

打开网址的右侧会有一些 模型和数据集

选择第一个 openai的模型之后 右上角的Use this model 展示如何调用这个模型

为了能够读取音频 还需要安装一下ffmpeg   以下为一个release版本的安装包

https://www.gyan.dev/ffmpeg/builds/ffmpeg-release-essentials.zip

再将 ffmpeg/bin 文件夹路径添加到 系统环境变量的 PATH 中

并在cmd 中 ffmpeg -version 验证安装成功。

然后就可以进行直接调用  model="openai/whisper-large-v3"

from transformers import pipeline
pipe = pipeline(