哎呀，终于把这篇关于Ollama和Spring AI的文章给整出来了！咱们就直奔主题吧，别绕弯子了。

你想想kan，现在大模型API调用费用飙升得厉害，咱们程序员每次调用dou在掏钱啊。而且数据安全问题也让人担心。与其一直给大厂充值，不如自己搭建个本地大模型来玩儿！

Ollama就是个开源的"大模型运行器"，让你Neng在本地机器上跑Llama、Mistral这些开源模型。安装简单到像运行个Docker容器一样轻松。

害，我记得有一次拉取Qwen模型时服务器CPU直接拉爆了...不过后来优化后就稳定多了。

前置条件hen简单：一台Linux服务器 + Docker环境。这些老生常谈的基础设施我们就不多说了。重点是那个Ollama框架！

注：使用Spring AI需要Spring Boot + JDK支持哦。Ru果不需要RAG功Neng,只需要ollama依赖就够啦！

version: '' services: ollama: image: ollama/ollama:. container_name: ollama restart: unless-stopped ports: - ":"

docker compose方式运行容器

services: vector_db: image: pgvector/pgvector:pg18 container_name: vector_db restart: always environment: - POSTGRES_USER=postgres #用户名 - POSTGRES_PASSWORD=postgres #密码 - POSTGRES_DB=springai - PGPASSWORD=postgres volumes: - ./pgvector/data:/var/lib/postgresql/data # 添加这行保证数据持久化 - ./pgvector/sql/init.sql:/docker-entrypoint-initdb.d/init.sql logging: options: max-size: 10m max-file: "" ports: - ':' healthcheck: test: "pg_isready -U postgres -d vector_store" interval: 2s timeout: 20s retries:

这里采用SSE协议实现流式对话。什么是SSE？就是服务器推送技术啦！允许服务器主动向客户端持续发送数据，而不需要客户端反复请求。这样用户Ke以实时kan到大模型的逐字生成过程。

@RestController@RequestMapping public class OllamaController { @Resource private OllamaChatModel ollamaChatModel; @GetMapping public Flux generateStream { return ollamaChatModel.stream( new Prompt.model.build) ).map(chatResponse -> { String text = chatResponse.getResults .stream .filter.getText != null) .map.getText) .findFirst .orElse; return ServerSentEvent.builder .data .build; }).concatWith(Flux.just( ServerSentEvent.builder .data .build )).doOnError; } }

检查你的网站是否被百度搜索引擎收录过,Ke以通过site命令查询;

然后确保网站内容质量高、原创性强;

Zui后记得提交网址到百度站长工具,提高收录概率.

RAG是什么？

Retrieval-Augmented Generation的缩写,中文叫"检索增强生成". 它是一种将信息检索和大模型生成相结合的技术.

需要实现将知识库文件处理成向量并保存在数据库中. 这里我们引入thymeleaf依赖实现后端项目访问html页面. 访问地址:

专门用来将文本转换成向量的模型.Ke以理解为一个"文本向量化工具"

java

@Configuration

public class PgVectorDataSourceConfig {

@Bean

@ConfigurationProperties

public DataSource pgvectorDataSource {

return new DriverManagerDataSource;

}

@Bean

public JdbcTemplate pgvectorJdbcTemplate DataSource dataSource) {

return new JdbcTemplate;

}

}

java

@Slf4j@RestController@RequestMapping

public class RAGController {

@Resource private TokenTextSplitter tokenTextSplitter;

@Resource private PgVectorStore pgVectorStore;

@Resource private RedisTemplate

// 查询 rag 标签列表

@RequestMapping

public List

List

return range;

}

// 上传知识库文件

@RequestMapping

public String uploadFile(@RequestParam String ragTag,

@RequestParam List

log.info;

for {

TikaDocumentReader documentReader = new TikaDocumentReader);

List

List

// 添加知识库标签

documents.forEach.put);

documentSplitterList.forEach.put);

pgVectorStore.accept;

// 添加知识库记录

redisTemplate.opsForList.leftPushAllIfAbsent("ai:rag:

tags", Collections.singleton);

}

log.info;

return "success";

}

}

xml

"http://www.w.org/TR/xhtml/dtd/xhtml-transitional.dtd">