大模型流式输出Yi经成为提升用户体验的关键技术,说实话,你有没有好奇过它背后的传输技术是怎么回事?

咱就是说,传统的HTTP请求-响应模式Yi经无法满足现代应用对实时数据传输的需求了。

相比非流式输出,流式输出Ke以实时地将中间结果返回,你Ke以在模型进行输出的同时进行阅读,减少等待模型回复的时间;

并且当输出内容较长时,有效降低请求超时的风险。

害,你可Neng会问,为什么百度不收录我的文章?

可Neng的原因有hen多,比如内容质量、关键词优化、建站时间等等,你懂的。

短轮询:客户端周期性地向服务器发送HTTP请求,询问是否有新数据。

长轮询:客户端发送HTTP请求后,服务器不立即返回响应,而是保持连接打开,直到有新数据或超时后才返回响应。

WebSocket:一种在单个TCP连接上进行全双工通信的协议,允许客户端和服务器之间进行实时的双向通信。

SSE :一种基于HTTP长连接的单向通信技术,允许服务器主动向客户端推送数据。

gRPC-Web:一个JavaScript客户端库,使Web应用程序Neng够直接与后端gRPC服务进行通信。

MQTT :一种专为物联网设备设计的轻量级发布-订阅消息协议。

SSE的优势:实现简单、浏览器原生支持、适合单向数据推送场景。

SSE的劣势:不支持双向通信、无法传输二进制数据。

WebSocket的优势:支持双向通信、低延迟、适合高频实时场景。

WebSocket的劣势:实现复杂度高、需要处理连接维护和安全问题。

gRPC-Web和Streamable HTTP在AI驱动的实时数据传输中具有优势，前者提供了高效的远程过程调用机制，后者提供了灵活的流式传输Neng力。

优先考虑SSE或Streamable HTTP:单向数据推送、简单实现、浏览器环境。

优先考虑WebSocket:双向实时交互、高实时性要求、现代浏览器环境。

优先考虑MQTT:IoT设备、低带宽或不稳定网络、需要发布-订阅模式。

HTTP/3对SSE和WebSocket的性Neng提升尤为明显,在HTTP/3环境下,SSEKe以实现geng快的连接建立、geng低的延迟和geng高的可靠性。

边缘计算的普及对实时数据传输提出了新的要求和机遇，Streamable HTTP和MQTT在边缘计算场景中具有明显优势，前者适合Web应用与边缘节点的通信，后者适合IoT设备与边缘节点的通信。

人工智Neng技术正在改变实时数据传输的方式，未来我们可Neng会kan到geng多创新的传输技术出现。

MCP简单的技术可Neng比复杂技术geng合适.