OctaFuse Gateway 2.3.0 发布。其实，

使用者痛点一览

• 缓存命中率低。导致 Token 消耗高昂。
• 会话连续性差，频繁切换供应商导致推理请求失败。
• 供应商侧状态不稳定，故障转移频繁触发。

一次请求通过故障转移找到可用上游后后续请求能否继续访问同一家供应商，直接影响缓存命中率、会话连续性还有供应商侧状态的稳定性。

路由池新增供应商粘性

网关会记住使用者上次请求成功的供应商，并在绑定有效期内优先复用。管理后台还提供绑定分布查看、单个使用者解绑和整个路由池失效等运维能力。

1️⃣ 供应商粘性的主要机制

• 粘性绑定判断先于四种路由策略执行。
• 无论配置的是hash_affinityweighted_randomweight_priority还是weighted_round_robin
• 只有尚未建立绑定或原有绑定失效后才会触发常规路由策略。

运行规则细节

1. No Binding: 按优先级和层内策略选路。
2. Succeed: 将本次成功的上游目标与使用者/模型/路由组/协议建立绑定。
3. Biding Valid: 在常规优先级分层前尝试该目标。
4. D延长： 每次成功都延长绑定有效期；默认空闲有效期为<秒数>.
5. Error Unbind：-5xx 或网络错误会解绑并继续故障转移。

B丁数据存储在 D1、Postgres 或 MySQL 中，可在不同 Cloudflare Worker 隔离实例和多个 Node.js 实例间共享。若存储异常，网关自动回退到常规路由，不会因粘性功能不可用而阻断推理请求。

2️⃣ 与 hash_affinity 的区别

hash_affinity 是默认的无状态层内策略：相同使用者/模型/路由组/协议将始终计算出同一个首选供应商。相比之下supply‑provider sticky = 上一次真正成功请求的目标，可以：

• Crossover priority layers and try bound target first.
Avoids stale bindings after idle timeout."
• Dissociates automatically when provider fails."
• Binds can be invalidated globally via sticky_epoch."
• This feature does not replace hash_affinity;it complements it."
• If no valid binding exists,hash_affinity or or configured strategy takes over."

3️⃣ 拓扑视图：完整的绑定运维能力

当路由数量较少时可使用摘要视图快速浏览； 当单个模型接入多家供应商并按不同优先级拆分成多层时切换到拓扑视图更直观展示入口、组、优先级层与故障转移顺序。点击节点中的“Sticky · Off”芯片即可启用或关闭粘性，并设置空闲有效期。说到此功能支持，

• K启用/禁用粘性 + 设置空闲时间；
"
• L查看当前活跃绑定数并对比各上游目标占比与权重；"
• M按邮箱或 ID 查找特定使用者的绑定；"
• N单独解绑某个使用者，让其下一次重新选路；"
• P一键使整个池失效，让所有使用者在下一次重新选路；"

T 拓扑视图还强化了策略来源与优先级展示。使您可以在一张图里核对配置、实际尝试顺序及故障转移规则，提高运维透明度。

4️⃣ route_trace.sticky：追踪绑定命中与失效原因

开启日志记录后你可以查看每一次请求是否因粘性命中而被重定向，还有为何失效——是过期、无效 epoch 或是链路错误？这为你调整缓存与调试提供关键依据！

{ "sticky": { "lookup": "hit","attempted_target": "route-target-id"。"result": "kept" } }

• "lookup" 描述读取结果："hit",“miss”,“expired”,“invalid_epoch”,“invalid_circuit”。
• "attempted_target" 表示本次优先尝试的上游目标ID。
• "result" 描述此轮绑定是否保持、新建或清除，也可能记录存储错误。
  • 用这些字段结合缓存读取令牌数和上游故障次数观察，可以判断粘性是否真正提高了提示词缓存连续命中效果。

  方法 ID 与界面名称对齐

  原 ID	新 ID
  cache_affinity	hash_affinity
  fixed_order	weight_priority

  对了两个 ID 保持不变：weighted_random & weighted_round_robin。

  旧 ID 无兼容别名 – 所有外部自动化、ROUTE_STRATEGY 参数和模型配置必须使用新名称，否则写入旧 ID 将报错。

  写在最终

  OctaFuse Gateway 2.3.0 的升级主要是针对需要高缓存命中的场景加入了 粘性绑定 + 任意方法策略 的组合。以确保在指定时间窗内让使用者持续访问同一供应商，实现更高缓存命中率，从而显著降低 Token 消耗。

  🚀 开源地址：

  ⭐️ 欢迎 Star 支持——您的支持是持续更新迭代的关键动力！