Spring AI与大模型Ollama如何集成整合？

Python 是进入人工智能领域（认为是机器学习或生成人工智能AIGC）的主要武器，Java 和 Spring 仍引领着大多数开发社区， Java 开发人员如何与 LLM大模型 一起工作？这就是 Spring AI 弥补差距的地方。

Spring AI在 Spring 应用程序和可以在本地运行的 LLM 之间创建集成，这为所有 Java 开发人员提供了开发人工智能应用程序的能力。

在本文中，我们将了解如何使用 Ollama 在本地运行大模型，我们将考虑四个方面。

1. 本地安装并运行 Ollama 和 LLM
2. 创建SpringAI项目并详细查看项目配置。
3. 访问本地嵌入。
4. 访问本地聊天模型。

安装并运行 Ollama
导航至https://ollama.com/download下载适用于特定操作系统的 ollama。

下载 ollama 后，打开终端并输入以下命令以提取 LLM 并在本地运行它们。
ollama run llama2 # pulls llama2 LLM model
ollama run mistral # pulls and runs mistral LLM

创建 Spring AI 项目
如果你使用任何集成开发环境（我使用的是 IntelliJ）或基于 Web 的 Spring Intializr，那么你可以看到现在可以直接从 Spring Intializr 添加 AI 依赖项。在本例中，我们将添加 Ollama。在执行此步骤之前，请按照步骤 1 确保已安装 Ollama 并在本地运行。

让我们深入研究一下 application.yaml，看看与 ollama 有关的不同项目配置。

spring:
ai:
ollama:
embedding:
model: "llama2" options:
temperature: 0.5
top-p: 0.2
top-k: 2
num-g-p-u: 1 enable metal gpu on MAC
base-url: "http://localhost:11434"

有关嵌入和聊天模型的更多配置可分别在这里 here 和这里here 找到。请注意一点，Spring 默认配置可与 Mistral LLM 配合使用，但我们已明确用 llama2 替代。

实体记录
首先，我们将创建两个记录：Payload 和 Response，名称更加直观。

package org.vaslabs.springai2.records;

public record Payload(String strings) {
}
package org.vaslabs.springai2.records;

import java.util.List;

public record Response(List data) {
}