很好奇大语言模型在性能孱弱的树莓派上做本地部署会是什么表现。不指望正儿八经的问答,外语翻译是否可行呢?抱着这个目的实验了一把,直接上结论,Ollama在树莓派上能安装,且本身运行起来毫无压力,但具体到大语言模型,Deepseek-R1似乎不总是最佳选择。
安装很简单,理论上只需要一条命令:
curl -fsSL https://ollama.com/install.sh | sh
但是,由于你懂的原因,真这么干的话可能会很慢很慢,所以可以用包含了国内加速器的指令替代:
export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh
安装成功,用ollama --version测试也没问题。考虑到性能,保险起见先从deepseek-r1:1.5b开始。

迫不及待的开始进行对话,速度那是相当的不错,但质量怎么说呢,让我想起个段子:
面试官:“你简历上写着说你心算速度很快,那我问问你,13乘以19是多少?”
我脱口而出:“45!”
面试官:“这也差太远了吧。”
我:“你就说快不快吧!”

365

被折叠的 条评论
为什么被折叠?



