前言
年前,国产AI大语言模型 DeepSeek 横空出世,最近很多自媒体啊,也都在宣传本地部署 DeepSeek 有多好有多方便,最近也稍微研究了一下如何使用,仅供参考使用,如有不对请各位大佬指正。
补充说明
这个本地化部署仅仅作为自己平时玩玩使用的话没有问题,毕竟我们普通用户的硬件配置也没有太高,比如我部署的电脑配置也就是个12600kf+4060ti+32g的低配游戏主机,估计跑个14b就差不多了,再往上连跑就很勉强了。
同时和大家说明一点,官网版(或者APP版)的 DeepSeek 使用的是满血版的大模型,我们用的这个 7b,8b,14b 版本的也就是阉割版,说白了就是蒸馏版(基于R1模型学习的版本)。本次演示安装的是8b的版本,至于为什么不推荐使用 7b,8b呢?是因为再往下的就纯属傻子版本(个人感受勿喷)
如果想体验完整版本的真的建议去官网或者下载APP,本地部署真就是图一乐,如果想使用满血的还没办法使用官网版本的,可以去华为,英伟达的官网,或者像curser内置,硅基流动,秘塔AI,国家超算中心等那里都有准备好的R1环境可以供我们使用。也就是说,如果基于我们的本地配置,能够使用的一定都是其他架构的蒸馏版R1。 网上(主要是dy)要是教你用,还只用7b往下的纯纯割韭菜行为各位注意避坑,花钱就更是大冤种。
本实操使用的是 ollama+chatbox 方案进行本地部署。
部署
安装Ollama
进入官网下载界面:https://ollama.com/download

选择自己的操作系统并下载安装即可。
回到主页,点击

&spm=1001.2101.3001.5002&articleId=145481005&d=1&t=3&u=be1d67cb68cc4c719f4dc9a4ba16774f)
674

被折叠的 条评论
为什么被折叠?



