AI - 人工智能；Java之SpringAI（一）
AI - 人工智能；Java之SpringAI（二）
一、Ollama
官网：https://ollama.com/
Ollama是一个大模型部署运行工具，在该工具里面可以部署运行各种大模型，方便开发者在本地搭建一套大模型运行环境
LLM全称（large language model）也就是大语言模型
Ollama是一个用于部署和运行各种开源大模型的工具； 它能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。 用户通过执行几条命令就能在本地运行开源大模型，如Llama 2等
（一）下载
下载：https://ollama.com/download
注：Ollama的运行会受到所使用模型大小的影响；
1、例如，运行一个7B（70亿参数）的模型至少需要8GB的可用内存(RAM)，而运行一个13B（130亿参数）的模型需要16GB的内存，33B（330亿参数）的模型需要32GB的内存
2、需要考虑有足够的磁盘空间，大模型的文件大小可能比较大，建议至少为Ollama和其模型预留50GB的磁盘空间
3、性能较高的CPU可以提供更好的运算速度和效率，多核处理器能够更好地处理并行任务，选择具有足够核心数的CPU
4、显卡（GPU）：Ollama支持纯CPU运行，但如果电脑配备了NVIDIA GPU，可以利用GPU进行加速，提高模型的运行速度和性能
（二）安装
（三）运行
ollama官网大模型：https://ollama.com/library
点击“Models”
输入框搜索大模型名字
选择相应的数据模型，复制右侧的命令
如，选择qwen2.5:3b（阿里的通义千问）
ollama run qwen2.5:3b大模型下载完成后会出现“success”的提示，还会给出一个让你“>>>Send a message（/? for help）”的提示框，在此输入需要提问的问题
比如输入“苏州”
（四）Ollama api默认监听11434端口
使用命令进行查看：
netstat -ano | findstr 11434
二、SpringAI集成Ollama
使用SpringAI，需要确保开发环境满足以下2个要求：
1、JDK版本：JDK 17（含）以上
2、SpringBoot版本：3.2以上
3、IDEA2024版
1、创建SpringAI项目
选择Spring Boot 至少3.2版本；且勾选AI中的OpenAI选项（2024之前的老版本IDEA应该没有这个选项）
2、添加依赖；加入spring-ai-ollama-spring-boot-starter依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>3.2.4</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>com.demo</groupId><artifactId>spring-ai-06-ollama</artifactId><version>0.0.1-SNAPSHOT</version><name>spring-ai-06-ollama</name><description>spring-ai-06-ollama</description><properties><java.version>17</java.version><maven.compiler.source>17</maven.compiler.source><maven.compiler.target>17</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><!-- SpringAI当前版本1.0.0-M3；快照版1.0.0-SNAPSHOT --><spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!--spring ai的starter依赖，启动依赖--><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-devtools</artifactId><scope>runtime</scope><optional>true</optional></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies><!--相当于是继承一个父项目：spring-ai-bom父项目--><dependencyManagement><dependencies><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-bom</artifactId><version>${spring-ai.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><configuration><excludes><exclude><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></exclude></excludes></configuration></plugin></plugins></build><!--配置本项目的仓库：因为maven中心仓库还没有更新spring ai的jar包--><repositories><repository><!-- SpringAI快照版 --><id>spring-snapshots</id><name>Spring Snapshots</name><url>https://repo.spring.io/snapshot</url><!-- 当前最新M3版 --><!-- <id>spring-milestones</id>--><!-- <name>Spring Milestones</name>--><!-- <url>https://repo.spring.io/milestone</url>--><snapshots><enabled>true</enabled></snapshots></repository></repositories></project>
ai依赖：
<properties><java.version>17</java.version><maven.compiler.source>17</maven.compiler.source><maven.compiler.target>17</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><!-- SpringAI当前版本1.0.0-M3；快照版1.0.0-SNAPSHOT --><spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
</properties><!--spring ai的starter依赖，启动依赖--><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId></dependency><!--配置本项目的仓库：因为maven中心仓库还没有更新spring ai的jar包--><repositories><repository><!-- SpringAI快照版 --><id>spring-snapshots</id><name>Spring Snapshots</name><url>https://repo.spring.io/snapshot</url><!-- 当前最新M3版 --><!-- <id>spring-milestones</id>--><!-- <name>Spring Milestones</name>--><!-- <url>https://repo.spring.io/milestone</url>--><snapshots><enabled>true</enabled></snapshots></repository></repositories></project>
Maven中心仓库搜不到这个依赖
3、配置yml文件
server:port: 8086spring:application:name: spring-ai-06-ollamaai:ollama:base-url: http://localhost:11434chat:# 会被代码配置覆盖model: qwen2.5:3b
4、测试类（OllamaChatModel）
Ollama中SpringAI官网：Ollama Chat :: Spring AI Reference
package com.demo.springai06ollama.controller;import jakarta.annotation.Resource;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;/*** @description:* @author: zm*/
@RequestMapping("/ai")
@RestController
public class OllamaController {@Resourceprivate OllamaChatModel ollamaChatModel;@GetMapping("/ollama")public String ollama(@RequestParam("msg") String message) {return ollamaChatModel.call(message);}@GetMapping("/ollama/prompt")public Object ollamaPrompt(@RequestParam("msg") String message) {ChatResponse response = ollamaChatModel.call(new Prompt(message,OllamaOptions.builder().withModel("qwen2.5:3b")//使用哪个大模型（代码会覆盖yml配置中的Model）.withTemperature(0.4)//温度，温度值越高，准确率下降，温度值越低，准确率会提高.build()));return response.getResult().getOutput().getContent();}
}
运行启动，浏览器输入 http://localhost:8086/ai/ollama?msg=为你写一首情诗
5、如遇如下报错：{"error":"model \"mistral\" not found, try pulling it first"}
java.lang.RuntimeException: [404] Not Found - {"error":"model \"mistral\" not found, try pulling it first"}
（1）在yml配置中添加Model配置
spring:application:name: spring-ai-06-ollamaai:ollama:base-url: http://localhost:11434chat:# 会被代码配置覆盖model: qwen2.5:3b（2）去Ollama官网Model中下载mistral大模型
