huggingface获取开源模型到本地，微调参数进行训练

hugging face是什么？

hugging face是一个专注人工智能以及自然语言（Natual Language Processing-NLP）的公司，其上有很多开源的预训练模型供广大人工智能领域用户免费使用。

注意使用hugging face需要科学上网。使用自己的邮箱注册一个号即可。

前置环境安装：

我使用的pycharm，并且电脑没有显存16G以上的独立显卡，所以选择使用cpu进行训练。

使用pip命令安装hugging库：

pip install -U huggingface_hub

在hugging face中找到自己想要的模型

复制对应模型名称,我这里希望下载mistralai/Mixtral-8x7B-Instruct-v0.1模型

下载步骤：

1.授权

部分模型需要登录授权后才可以使用，因此需要现在hugging face网页申请一下才可以下载。

2.使用python+huggingface-hub库下载想要的模型

在python环境终端中运行以下命令下载hugging_hub

pip install -U huggingface_hub
pip install hf_xet

我上面选中的mistralai/Mixtral-8x7B-v0.1模型是需要授权的，因此我们需要先获得一个token唯一标识自己是哪个用户，是否得到授权下载模型，如下操作即可。

按照所需要的情况选择，然后滑到底部创建即可。

此时会返回一个token，请保存到自己的本地，此后无法再查看！！

获得token后回到终端，输入以下命令

hf auth login

随后输入自己的token即可。

完成登录认证后就可以愉快地下载自己想要的模型了。

输入以下命令将下载源切换到国内镜像。

windows:

$env:HF_ENDPOINT = 'https://hf-mirror.com'

linux：

export HF_ENDPOINT='https://hf-mirror.com'

使用以下命令开始下载自己需要的模型：

huggingface-cli download 想要下载的模型名 --local-dir 本地存放的地址

出现以下界面意味着模型正在下载中：

未完待续。。。

写到这里，后来我发现哔哩哔哩上有一个up主关于hugging face我教程讲得特别好，所以我觉得有这方面需求的朋友可以去看一下。我写博文的初衷也是为了记录一下操作流程方便自己后续查看，因此有现成的视频了我也就不多赘述了。

连接如下：【【手把手带你实战HuggingFace Transformers-入门篇】基础知识与环境安装】 https://www.bilibili.com/video/BV1ma4y1g791/?share_source=copy_web&vd_source=d25c8ed31eacba5828edeb9d65f8dd8c