无状态 Stateless：大模型为什么记不住你是谁

答案藏在两个词里：HTTP 和 Stateless。

先回到最底层。我平时写的 client.chat.completions.create,看起来像是在调用一个"智能"的函数。但剥开 SDK 的包装，它本质就是一次 HTTP 调用

我的程序 --HTTP POST--> LLM 服务器

LLM 结果。而要能承受高并发、高可用,后端就必须支持无状态。这不是大模型独有的要求，而是所有要扛住大规模流量的 HTTP 服务共同的设计选择。

为了减小负担，支持高并发

"Stateless"是为了减小负担、支持高并发而采取的一项设计原则。

• "Stateless"是为了减小负担、支持高并发而采取的一项设计原则。怎么说呢，
• "Stateless"是为了减小负担、支持高并发而采取的一项设计原则。
• "Stateless"是为了减小负担、支持高并发而采取的一项设计原则。怎么说呢，
• "Stateless"是为了减小负担、支持高并发而采取的一项设计原则。
• "Stateless"是为了减小负担、支持高并发而采取的一项设计原则。
• "Stateful":如果需要服务器记住使用者身份/会话。就需要在服务端维护会话信息,这样会导致:
• 1. 每个请求需要关联到特定服务器实例,降低弹性 能力;说起来，
• 2. 服务器宕机会导致会话丢失;
• 3. 需要额外资源存储和管理会话数据.

HTTP 是典型的 Stateless:

HTTP 本身是一种 stateless
+ header
公平地处理所有请求

* 每个 HTTP request 是独立存在的,与前后请求没有关联;怎么说呢，

* server 不需要维护 client state;


* server can scale horizontally,因为任何实例都可以处理请求.

+++++ outputs/标题调整/html输出第8章.md

第八章：AI Loop - 人类干预 AI 行为!

在这本书开始之前我想先解释一下这个系列书籍名称「AIGC 开放式项目」。「开放式项目」这个翻译可能不是最准确但是在这里更倾向于表达这是一个「持续更新」且「内容可以持续补充完善」而且「所有人都可以参与」也是一个「探索性质」而不是「固定教科书」式项目。「开放式项目」也体现了内容探索过程中始终保持 「开放态度」、「批判精神」、「批判精神」、「批判精神」。对于其中任何观点你都可以提出不同意见或者提出反驳；也欢迎对其中一些观点进行补充和完善。对于一些已知结论或理论我也不会直接提到相关论文或资料来源；但你可以根据我的描述去搜索或查找相关资料进行验证或反驳。在这个系列里面有很多内容都是基于我的个人经验和归纳得来所以难免存在部分情况下的主观性还有局限性所以还望各位读者不要过于严苛地对待这些内容而是以一种更为宽容和包容地心态来对待。对了在整个系列中也可能存在一些逻辑不够严谨或者表述不够准确之处在此先表示抱歉希望各位读者看到之后及时指出以便后期修改更新. 最终祝大家阅读愉快!在这本书开始之前我想先解释一下这个系列书籍名称«AIGC 开放式项目»。「开放式项目»这个翻译可能不是最准确但是在这里更倾向于表达这是一个«持续更新»且«内容可以持续补充完善»而且«所有人都可以参与»也是一个«探索性质»而不是«固定教科书»式项目.«开放式项目»也体现了内容探索过程中始终保持 «开放态度»,«批判精神». 对于其中任何观点你都可以提出不同意见或者提出反驳;也欢迎对其中一些观点进行补充和完善. 对于一些已知结论或理论我也不会直接提到相关论文或资料来源;但你可以根据我的描述去搜索或查找相关资料进行验证或反驳. 在这个系列里面有很多内容都是基于我的个人经验和归纳得来所以难免存在部分情况下的主观性还有局限性所以还望各位读者不要过于严苛地对待这些内容而是以一种更为宽容和包容地心态来对待. 对了在整个系列中也可能存在一些逻辑不够严谨或者表述不够准确之处在此先表示抱歉希望各位读者看到之后及时指出以便后期修改更新.,最终祝大家阅读愉快!