在当前人工智Neng领域，特别是大型语言模型的快速发展中，提示词强化技术扮演着至关重要的角色。其中，JSON 流式是实现高效、动态交互的关键技术之一。本文将深入探讨 JSON 流式的前后端原理，并结合 BFF 示例，帮助开发者理解和应用这一技术。

JSON 流式是指将 LLM 的输出结果以流的形式发送给客户端，而不是一次性返回完整的 JSON 数据。这种方式Ke以显著提高响应速度，尤其是在处理复杂任务时。

传统的 API 调用通常会等待整个响应完成才Neng继续执行后续操作。而 JSON 流式则允许客户端逐步接收和解析 LLM 的输出，从而实现geng流畅的用户体验。

流式传递的是“正在生长的文本”，而不是单个完整的业务 JSON 对象。这些文本片段被称为“delta 文本”。这些 delta 文本Zui终会通过一系列的拼接过程形成一个语义上完整的业务 JSON。 「流式」 流的是 delta 文本；业务 JSON 是这些文本拼接后的语义。

BFF 在这里指：**浏览器只访问你自己的同源或可信域上的一个小服务**；由该服务：

//  例如：处理前端请求、转换数据格式、进行必要的验证等

BFF 作为中间层，负责协调前端和后端之间的通信，并提供geng友好的 API 给前端使用。

使用 `fetch` 或 `XMLHttpRequest` 等方式向后端发送请求，请求中包含 `stream: true` 参数。

接收后端返回的响应体，响应体通常包含一个 `data` 对象，该对象包含多个 `delta` 对象。

循环解析每个 `delta` 对象中的内容，并将其添加到本地的聚合结果中。

根据聚合结果geng新 UI 或执行其他操作。

接收客户端的请求，并调用 LLM 进行推理。

将 LLM 的输出结果以流的形式发送给客户端。

LLM 生成一个阶段性的输出。

将 delta 发送给客户端。

当 delta 的内容足够完整时将其拼接成完整的 JSON 对象并返回给客户端。或者继续分阶段返回delta）。

接收来自前端的请求, 包括请求头。

调用 LLM API 进行推理, 并处理可Neng出现的错误或异常情况.

将 LLM 的输出结果转换成适合前端使用的格式. 这包括数据格式转换和数据清洗等工作.

对 LLM 输出的结果进行适当的过滤或修改, 以满足前端的需求.例如增加对key的管理和控制权限等等.

// server.js 文件主要负责以下功Neng：...

本仓库的 `server.js` 即扮演这一角色：见下一节。

POST https://your-bff-url/v1/chat/completionsContent-Type: application/json{ "model": "gpt-3.5-turbo", "messages": , "stream": true }

const https = require; // 或者 require Ru果需要跨域支持 const fs = require; const url = 'https://your_api_endpoint'; const key = 'YOUR_API_KEY'; const requestOptions = { method: 'POST', headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${key}` }, body: JSON.stringify }); const response = https.request => { res.on => { let text = ''; res.on; return text }); res.on => console.log); }); requestOptions =  => { requestOptions; }; 

data: {"id":"...","choices":,...}data: {"id":"...","choices":,...}...data: