自从Llama2宣布可商用后,相信很多小伙伴都想一睹真容,奈何大模型对算力等各方面的要求就高,个人电脑只能望而却步,好在有llama.ccp的量化技术,使得个人windows电脑可以部署Llama2。在部署的过程中也是问题频出,下面就将踩过的坑分享给大家:

1.llama.cpp编译不过,各种奇怪问题。
按照网上各种教程,采用cmake进行编译,包括下载MinGW,一路踩坑过去依旧编译不过。
CMake Error:CMAKE_C_COMPILER not set ,after Enablelanguage

报错1
recipe for target 'CMakeFiles/ggml.dir/all' failed

报错2
到这里相信很多小伙伴选择放弃了,网上已经很难找到解决问题的办法。经过小编的不懈努力,正解来了:
按照llama.cpp官网说明,windows可以采用w64devkit进行编译,下载安装后,编译成功,离llama2又近了一步。<

本文分享了在Windows上部署Llama2模型时遇到的三个主要问题:1.使用cmake编译失败,需切换到w64devkit;2.config.json缺失,需先转换模型;3.执行命令时文件路径问题,建议使用绝对路径。作者鼓励尝试者克服这些挑战以体验Llama2的对话效果。

3217

被折叠的 条评论
为什么被折叠?



