Ubuntu如何使用Ollama运行AI大模型

离线部署大模型

本文提供了一份详细的Ubuntu 22.04服务器离线部署Ollama并运行DeepSeek-R1模型的教程。涵盖从依赖分析、二进制包定制到生产级服务配置的全流程，特别针对离线环境中的依赖黑洞、版本锁定和安全加固等挑战提供了解决方案。通过静态编译打包、依赖树分析和沙盒测试等技术路线，确保部署的可靠性和安全性。

修改pip下载的源为国内源，这样下载的速度更快，注意这里的路径记得替换成自己电脑安装miniconda的路径。运行后，可以看到绑定了一个本地的端口7860，在浏览器中打开，就能看到对应的界面。前端我们使用python创建访问的接口，并使用gradio创建前端页面。在终端中打入，如下命令可以查看本机安装的大模型。使用下面的命令，可以将相应的模型运行起来，接着打入粘贴上面的命令，回车后自动安装。接着打入粘贴上面的命令，回车后自动安装。可以看到，会出现绑定的端口11434。运行后，可以看到如下的输出，

本文将介绍： 1.如何在Ubuntu Server上安装Ollama并运行deepseek-r1模型。（CPU运行） 2.如何在Ubuntu server上安装nvidia驱动和CUDA。（GPU运行） 3.如何使用显卡NVLink。（多GPU+NVLink运行）

Ubuntu环境通过Ollama部署DeepSeek-R1模型教程

首先，访问 Ollama 官方提供的 Linux 下载链接来获取最新的 Ollama 版本。修改配置文件，允许其他客户端调用，默认情况下ollama只能在本机上调用。步骤 1: 下载 Ollama。

思路：通过部署ollama和open-webui实现局域网拥有自己的本地deepseek大模型安装环境----操作系统：Ubuntu_Server22.04核显运行本地安装ollma，通过docker安装open-webui先安装好操作系统，参考文档。

AI时代本地部署大模型的必要性及解决方案 在AI时代，本地部署大模型成为企业刚需：1）保障数据安全，避免核心数据外泄；2）实现垂直领域定制化需求。推荐采用Llama3:8b开源模型，配合Ollama框架部署，结合Llama.cpp进行量化优化，使用Unsloth进行训练微调。该方案具有低算力需求、优秀上下文记忆、灵活API接口等优势，支持本地训练保护数据隐私，是兼顾性能与安全的理想选择。（149字）

本文介绍了如何使用ollama本地部署DeepSeek等大模型，通过干货分享了ollama常用的指令，以及如何获取更多大模型。但是我们目前仍然只是在命令行使用大模型，非常的不友好。下一章我们将介绍如何摆脱命令行的束缚，将ollama集成到本地的AI工具中，实现聊天、自定义智能体等功能。👉关注我，持续分享AI工具，AI应用场景，AI学习资源❤️。

【Llama3:8b】手把手教你如何在本地部署 自己的 AI 大模型 (◍•ᴗ•◍)

咱们来装下conda，这是一个python环境管理工具，想跑AI项目，这个基本上是必备的了，能很好的帮助我们管理各个ai环境。家风不仅仅是一种行为，而且是潜藏在这种行为背后的，一个更底层的价值理念，是他们看待这个世界的态度。公司新采购一台AI服务器，花大本钱装了个A6000显卡，今天来记录下新服务的使用步骤。大家在使用的过程中有遇到什么问题，或者有什么想实现的欢迎留言，大家一起讨论学习。conda 的安装比较简单，一直回车，等需要输入的时候，输入yes即可。这个没装，没关系，咱们来着手安装下。

安装 NVIDIA Container Toolkit 软件包。查看自己服务器的业务端口，我们这里是30131-30140。按ESC键退出编辑模式，接着输入:wq，保存并退出。配置 Docker 以使用 Nvidia 驱动程序。使ollama保持模型加载在内存（显存）中。7.2 重新加载docker。这里示例下载阿里的通义千问。更新时间较长，请耐心等待。7.3 重启docker。7.1 编辑配置文件。重新启动docker。

A5数据通过系统化地搭建Ubuntu 20.04 + NVIDIA RTX显卡 + TensorRT推理优化环境，能够显著提升智能监控系统的AI推理性能，实现更低延迟和更高吞吐。安装与验证NVIDIA驱动和CUDA平台使用TensorRT将模型转换为高性能推理引擎使用Flask/REST封装推理服务进行批量和并发场景性能基准测试这种架构不仅适用于目标检测，还可以推广到语义分割、人脸识别和轨迹预测等AI推理场景，为实际生产应用提供扎实的性能保障。

通过以上步骤，我们可以确保系统尽可能地利用所有 多张GPU 来运行 Ollama。如果在配置过程中遇到问题，建议查阅 Ollama 的官方文档，确认其是否支持多 GPU 并行计算，或者对系统性能进行进一步的优化。充分利用多 GPU 的并行计算能力，可以显著提升 Ollama 的运行效率，加快模型的推理和训练速度。希望本文能帮助你顺利实现 多张 GPU 的高效利用。

③如果是通过ollama run 模型名称方式取运行本地不存在的模型，默认已经配置了不需要自己手动创建Modelfile进行配置，但是如果是自己手动转GGUF格式，转完格式后还需要创建Modelfile进行相关配置，配置的内容不固定，不同的模型不一样，详细可以参考B站视频【教程！测试多模型同时运行，打开多个命令窗口使用ollama run 模型名称运行同一模型或不同模型，看是否可以同时对话，还是只能等一个窗口对话完，另一个窗口才开始对话，如果可以同时对话则表示测试成功。

步骤很详细，需要科学上网。

Ollama 是一个开源项目，可以使用官网。这样就直接部署完成了，可以使用。于是直接访问github地址。下载完成后就可以输入对话了。命令查看安装版本进行验证。不过试过多次下载失败。

Ubuntu Ollama安装llama3:8b，类OpenAI ChatGPT界面操作。