Spring AI Gateway：从入门到实战。建立智能AI服务网关

前言

因为大语言模型的发展很快，越来越多公司将 AI 能力集成到业务程序中。只是直接在业务代码中调用 AI API 会带来一系列痛点：

• API 密钥管理困难：每个微服务都需要持有密钥，导致安全风险。
• 请求限流与熔断难以控制：业务高峰期容易造成外部 API 超载。
• 成本无法追踪这方面。每次调用的 token 费用不透明，预算难以控制。
• 响应缺乏统一处理：不同厂商返回格式不一致，后端难以聚合。

Spring AI Gateway 正是为解决这些痛点而生，它基于 Spring 环境提供统一的 AI 服务入口、智能路由、负载均衡、熔断降级等公司级特性。

一、什么是 Spring AI Gateway

主要概念

Spring AI Gateway 是专为 AI 服务设计的 API 网关。它位于业务程序与 AI 模型提供商之间，提供统一调用接口和管理能力。

主要特性

• 统一接口屏蔽不同厂商的 API 差异，标准化调用方式。
• 智能路由。
• 流量控制支持限流、熔断、降级，保障程序稳定。话说回来，
• 成本调整利用缓存和请求合并降低调用费用。
• 可观测性完整请求追踪、性能监控和成本分析。不过，
• 安全加固集中管理 API 密钥。内容过滤与访问控制，

与传统 API 网关区别

使用场景 & 使用者痛点映射表格

技术栈

• JDK 11+ | Spring Boot 2.x/3.x | Spring Cloud Gateway | Redis | Resilience4j | Lombok | Jackson |

项目初始化示例

org.springframework.boot
spring-boot-starter-webflux


org.springframework.cloud
spring-cloud-starter-gateway


org.springframework.boot
spring-boot-starter-data-redis-reactive


org.springframework.cloud
artifactid
='spring-cloud-starter-circuitbreaker-reactor-resilience4j'/dependency
=>

接入层 → 路由层 → 处理层 → 对接层 → 数据层

主要组件简述

• AiRouteLocator：​​​​​​​​​​​​​#
• AiRequestFilter： 请求预处理和后处理逻辑。如 token 检查、缓存命中等)#
• `ModelAdapter`： 抽象不同厂商的调用方式，实现类如 OpenAIModelAdapter)#
• `TokenManager`： 跟踪使用量和预算控制)#
• &nb sp;&n bsp，b s d p s bsp;bsp，bsp;bsp，bsp;bsp，bsp;n b s n b n b #SemanticCache`： 基于相似度实现智能缓存。

  ---

  h6数据id="">四、实现主要功能

  h6数据id="">1️⃣ 智能路由配置

  以下示例展示了如何在配置文件中定义多条路由规则，并使用自定义 filter 来完成智能判断与限流。yaml 说到spring，cloud: gateway: routes的观点是，- id: gpt4-route uri的观点是，lb://openai-gpt4-service predicates: - Path=/api/ai/chat/completions filters: - StripPrefix=1 - name: AiGatewayFilter # 自定义全局过滤器 - name: CircuitBreaker 从args来看，name: gpt4-circuit-breaker

   - id: gpt35-route
  至于uri，lb://openai-gpt35-service
  predicates:
  - Path=/api/ai/chat/completions
  filters:
  - StripPrefix=1
  - name: AiGatewayFilter
  # 默认低成本方法
  - id: default-route
  至于uri。lb://openai-default-service
  predicates:
  - Path=/api/ai/**
  filters:
  - StripPrefix=1
  - name: AiGatewayFilter
  args这方面，costOptimization=true # 启用成本调整逻辑
  

  h6数据id="">2️⃣ 全局过滤器实现

  java @Component @Slf4j public class AiGatewayFilter implements GlobalFilter,Ordered { @Autowired private TokenManager tokenMgr;@Autowired private SemanticCache cache;@Autowired private AiMetrics metrics;@Override public Mono filter{ long start = System.currentTimeMillis;String requestPath = ex.getRequest.getPath.value;

   // 标记唯一 ID 并记录时间
  String reqId = UUID.randomUUID.toString;ex.getAttributes.put;ex.getAttributes.put;log.info.getMethod);// 判断是否可命中语义缓存
  if){
  String key = SemanticCache.generateKey);String cachedResp = cache.get;if{
  metrics.recordCacheHit;return buildCachedResponse;}
  metrics.recordCacheMiss;老实说，}
  // Token 检查
  return tokenMgr.checkAndReserveTokens
  .flatMap{ return buildErrorResponse;}return chain.filter;})
  .doOnSuccess-start;metrics.recordDuration;})
  .doOnError;})，

  } @Override public int getOrder{ return Ordered.HIGHEST_PRECEDENCE;} }

  h6数据id="">3️⃣ 模型适配器

  java public interface ModelAdapter{ String adaptRequest;String adaptResponse;int calculateTokens; BigDecimal calculateCost;老实说，} @Component public class OpenAIAdapter implements ModelAdapter{ @Override public String adaptRequest{ ObjectMapper mapper=new ObjectMapper;JsonNode root = mapper.readTree;ObjectNode out = mapper.createObjectNode;out.put)，out.set);out.put)，out.put);return mapper.writeValueAsString;} }

  h6数据id="">4️⃣ Token 管理 / 成本追踪

  java @Component public class TokenManager{ @Autowired private RedisTemplate redis;@Valueprivate int defaultQuota;

   /** 检查并预留 token */
  public Monosuspend{
  String uid=getUserFromHeader;int estimate = estimateTokens);Integer remain=redis.opsForValue.get;if{ redis.opsForValue.set;remain=defaultQuota;}
  ifreturn Mono.just;其实，redis.opsForValue.decrement;ex.getAttributes.put;return Mono.just;}
  /** 实际消费 */
  public void recordUsage{
  redis.opsForValue.increment,used);}
  

  }

  h6数据id="">5️⃣ 语义缓存

  java @Component public class SemanticCache{ static final double THRESHOLD=.8;static final int TTL_HOURS=24;@Autowired private RedisTemplateaRedis;

   /** 根据公开信息内容生成哈希键 */
  static public String generateKey{
  try{ byte body=r.getInputStream.readAllBytes;String txt=new String;ObjectMapper m=new ObjectMapper;JsonNode j=m.readTree.path.last;String msg=j.path.asText;return "sem:" + DigestUtils.md5DigestAsHex);}catch{return UUID.randomUUID+"";说起来，}
  }
  /** 获取 */
  public String get{return aRedis.opsForValue.get;}
  /** 设置 */
  public void put{aRedis.opsForValue.set;}
  

  }

  ---

  h6数据id="">五、生产实践案例

  h6数据id="">⚡️ 智能客服程序案例

  **场景**的观点是。

  场景	请求类型	模型选择	成本 / 次
  简单咨询	/api/ai/chat/completions	GPT‑Turbo	$0.01
  高质量回答	同上但复杂度高且置信度低时转人工客服	GPT‑4 或人工转接	$0.03

  **关键代码**： java @Component public class CustomerRoutingStrategy{ // 简易关键词匹配演示，仅供参考 ListSIMPLE_KEYS=;ListCPLX_KEYS=;

  //
  public String selectModel{
  if.anyMatch)return "gpt-";else if.anyMatch)return "gpt-turbo";else return "gpt-turbo";按理说，}
  // 是否需要人工介入
  boolean needsHuman{
  return CPLX_KEYS.stream.anyMatch&&confidence<0.7 ;   
  }
  

  }

  h6数据id="">💻 开发工具公司代码助手服务

  • 代码补全 → GPT‑Turbo‑16k
  • 代码解释 → GPT‑Turbo‑16k
  • 代码审查 → GPT‑Plus

  配置片段

  yaml ai.gateway.routes: - id:codelab-complete 至于uri。https://api.openai.com/v1/chat/completions predicates: 至于model，gpt-turbo

  • 说到id，codelab-explain 至于uri，https://api.openai.com/v1/chat/completions predicates: model的观点是，gpt-turbo-16k

  h6dataid="">💰 成本调整实战

  通过以下策略降低约80%的调用费用：

  • 智能缓存 – FAQ 完全缓存命中率60%，相似问题复用20%。话说回来，
  • 模型分层 – 大部分请求走轻量型 GPT‑Turbo。仅10%走高级 GPT‑Plus。
  • Token 调整 – Prompt 简化30%，输出压缩20%。不过，

  CostOptimizationFilter 示例

  java @Component @Slf4j public class CostOptFilter implements GlobalFilter。Ordered { @Autowired SemanticCache cache;@Override public Monosfilter{ var body=ex.getAttribute;var optBody=optimize;//去除冗余对话等 ex.getAttributes.put;return chain.filter.n);} }

  ---

  h6dataid="">六 Docker 部署脚本

  Dockerfile:

  dockerfile FROM eclipse-temurin:jdk17-alpine-slim AS builder WORKDIR /app COPY pom.xml ./ RUN ./mvnw dependency:go-offline COPY src ./src RUN ./mvnw package -DskipTests

  FROM eclipse-temurin:jdk17-alpine-slim WORKDIR /app COPY --from=builder /app/target/gateway-demo.jar app.jar ENTRYPOINT EXPOSE ${SERVERPORT:-8080} ENV SPRINGPROFILESACTIVE prod \ REDISHOST redis \ OPENAIAPIKEY=${OPENAIAPIKEY} CMD

  docker-compose.yml:

  yaml version:"3" services:{ ai-gateway:{build:.。ports:,environment:,depends_on:},redis:{image:"redis:alpine"},promeus:{image:"prom/promeus"},grafana:{image:"grafana/grafana"} }

  ---

  h6dataid="">

  🔒 安全配置

  利用 Spring Security WebFlux 对接口做鉴权：

  java @Configuration@EnableWebFluxSecuritypublic class SecCfg{ @Bean SecurityWebFilterChain springSec{ return http.authorizeExchange .pathMatchers.hasRole .pathMatchers.aunticated .anyExchange.permitAll .and .httpBasic .and .csrf) .build;} }

  ⚙️ 性能调优

  连接池的观点是。yaml spring.webflux.client.max-connections :10000 说到缓存策略，* FAQ 完全缓存 – cacheTTL 长期有效；* 相似问题复用 – similarityThreshold 为0.85；* 定期清理 – 使用 Redis SCAN 清理过期键。

  ---

  h2data-id=""七

  Spring AI Gateway 将传统微服务对接大语言模型变成“一站式”方案，让你不再为 API 密钥泄漏、高并发超载、费用不透明还有跨厂商返回差异而头疼。它提供了从基础设施到业务细节的完整环境。让团队可以专注于业务创新，而非底层运维。因为 LLM 技术持续迭代，Future 的升级版本将继续强化安全治理、多云部署与自研 LLM 接入能力。为公司建立更强大、更可靠、更经济的 AI 微服务架构。