安装与配置 Ollama

Ollama 是一个本地运行大型语言模型的工具，支持多种开源模型。访问 Ollama 官网 下载对应操作系统的安装包，按照提示完成安装。安装完成后，通过命令行拉取所需模型，例如：

ollama pull llama3

运行模型使用以下命令：

ollama run llama3

Spring AI Alibaba 依赖配置

在 Spring Boot 项目中集成 Spring AI Alibaba，需在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-ai-alibaba-spring-boot-starter</artifactId>
    <version>最新版本</version>
</dependency>

配置 application.yml 文件，指定模型服务地址和认证信息：

spring:
  ai:
    alibaba:
      chat:
        api-key: your-api-key
        base-url: http://localhost:11434  # Ollama 默认地址

实现 ChatModel 流式输出

创建 ChatModel 实例并调用流式输出接口：

@Autowired
private ChatModel chatModel;

public void streamChatResponse(String prompt) {
    Flux<ChatResponse> responseFlux = chatModel.stream(prompt);
    responseFlux.subscribe(response -> {
        System.out.println(response.getResult().getOutput().getContent());
    });
}

使用 ChatClient 进行流式交互

ChatClient 提供更简洁的流式交互方式：

@Autowired
private ChatClient chatClient;

public void streamWithChatClient(String message) {
    chatClient.stream(message)
        .doOnNext(System.out::println)
        .subscribe();
}

IDEA 中的调试与运行

在 IDEA 中创建 Spring Boot 启动类，确保配置正确。通过断点调试可观察流式输出的分块数据。运行前检查 Ollama 服务是否启动，确保网络连接正常。

流式输出性能优化

调整 Flux 的缓冲区大小和超时设置可优化流式性能：

Flux<ChatResponse> tunedFlux = chatModel.stream(prompt)
    .timeout(Duration.ofSeconds(30))
    .onBackpressureBuffer(100);

错误处理与日志记录

添加错误处理逻辑确保稳定性：

responseFlux.onErrorResume(e -> {
    log.error("Stream error: ", e);
    return Mono.empty();
});