这是整个系统的大脑。在AiChatServiceImpl中，我们需要处理异步逻辑。为什么用异步？因为大模型响应慢，Ru果阻塞Tomcat线程，并发量一上来服务器就得挂。

我们通过@Async注解或者手动提交到线程池来处理耗时操作。核心逻辑是调用model.generate，并传入一个StreamingResponseHandler。这个处理器有三个关键回调：

onNext: 每收到一个Token就触发，我们在这里把数据通过SSE推给前端。

onComplete: 流结束，保存完整的回答到数据库，关闭连接。

onError: 出错了记录日志，通知前端，优雅下线。

这里有个小细节，为了防止前端显示乱码，我们在推送前把换行符和空格Zuo了HTML转义。这种细节往往决定了产品的精致程度。

@Service
@RequiredArgsConstructor
@Slf4j
public class AiChatServiceImpl implements AiChatService {
    // ... 省略注入的Mapper和Manager ...
    @Override
    @Async // 使用自定义线程池
    public CompletableFuture handleQuestionAsync {
        // 1. 检查负载，获取Emitter
        if ) return CompletableFuture.completedFuture;
        SseEmitter emitter = emitterManager.getEmitter;
        // ... 省略创建Emitter的逻辑 ...
        // 2. 准备数据对象
        AiMessagePair messagePair = new AiMessagePair;
        // ... 设置属性 ...
        AiConfig config = aiConfigMapper.selectByPrimaryKey);
        // 3. 开始流式调用
        StringBuffer fullContent = new StringBuffer;
        AtomicBoolean isUpdated = new AtomicBoolean;
        try {
            aiChatMessageService.chatMessageStream)
                    .onNext(token -> {
                        // 实时推送
                        try {
                            fullContent.append;
                            // 转义HTML字符，保证前端显示正常
                            token = token.replace;
                            emitter.send.data);
                        } catch  {
                            throw new RuntimeException;
                        }
                    })
                    .onComplete(response -> {
                        // 结束处理：存库、关连接
                        emitter.complete;
                        emitterManager.removeEmitter;
                        tryUpdateMessage, ...);
                    })
                    .onError(e -> {
                        // 异常处理
                        log.error;
                        emitter.completeWithError;
                        emitterManager.removeEmitter;
                    })
                    .start;
        } catch  {
            // 兜底异常处理
        }
        return CompletableFuture.completedFuture;
    }
}

Ru果你有幸在JDK21环境下开发，那一定要试试虚拟线程。传统的线程池模型在处理大量IO密集型任务时线程上下文切换的开销hen大。而虚拟线程轻量得惊人，你Ke以轻松创建成千上万个虚拟线程而不会压垮服务器。

在代码里你只需要把Executors.newVirtualThreadPerTaskExecutor传给CompletableFuture即可。那种丝滑的并发处理Neng力，绝对会让你感叹Java进化的力量。

代码写完了怎么验证它真的在流式输出？写个单元测试跑一下。在控制台日志中，你会kan到onNext被一次又一次地调用，每次只吐出几个字。这正是我们想要的效果。

当你把前端页面接上，kan着文字一个接一个地蹦出来那种成就感是无与伦比的。你会发现，原本枯燥的等待变成了一种充满科技感的阅读体验。

通过langchain4j，我们不需要去处理复杂的HTTP流解析，也不需要自己造轮子去管理大模型连接。它把这一切dou封装得恰到好处，让我们Neng专注于业务逻辑本身。

本文虽然只展示了Zui基础的流式对话，但这只是冰山一角。基于这个架构，你Ke以轻松 出多轮对话记忆、RAG甚至Agent功Neng。AI的时代浪潮Yi至，作为Java开发者，掌握langchain4j这把利剑，定Neng助你在开发之路上披荆斩棘。别犹豫了赶紧去试试吧！