全网最全windows11 量化部署Llama2踩坑集合

本文分享了在Windows上部署Llama2模型时遇到的三个主要问题:1.使用cmake编译失败,需切换到w64devkit;2.config.json缺失,需先转换模型;3.执行命令时文件路径问题,建议使用绝对路径。作者鼓励尝试者克服这些挑战以体验Llama2的对话效果。

自从Llama2宣布可商用后,相信很多小伙伴都想一睹真容,奈何大模型对算力等各方面的要求就高,个人电脑只能望而却步,好在有llama.ccp的量化技术,使得个人windows电脑可以部署Llama2。在部署的过程中也是问题频出,下面就将踩过的坑分享给大家:

1.llama.cpp编译不过,各种奇怪问题

按照网上各种教程,采用cmake进行编译,包括下载MinGW,一路踩坑过去依旧编译不过。

CMake Error:CMAKE_C_COMPILER not set ,after Enablelanguage

  报错1

recipe for target 'CMakeFiles/ggml.dir/all' failed

报错2

到这里相信很多小伙伴选择放弃了,网上已经很难找到解决问题的办法。经过小编的不懈努力,正解来了:

按照llama.cpp官网说明,windows可以采用w64devkit进行编译,下载安装后,编译成功,离llama2又近了一步。<

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值