前言乱七八糟说一下

最近搞AI工具被流量打爆了真实的很烦，我一启动以为只要模型良好就行，最终还是结果是上线第一天就卡死，用户骂声一片。然后我就启动查资料，东拼西凑搞了个方案，其实就是把网上看到的东西自己改了一下写出来。反正就是先活下来再说。

#人工制作智能# 我吃泡面的时候服务器挂了三次真实的绝望。后来才明白较高并发不是单点迅速就行， 说白了就是... 是整个链路都要能扛住不然一个地方堵后面全堵。

限流那个地方的东西很十分沉关键

对于 AI工具而言推荐采用用户维度加模型维度加Token维度的组合限流方式。举个例子免费用户每分钟最更多5次申请企业用户每分钟最更多200次申请某个模型整体每分钟最更多处理1000次申请各个用户每天最更多消耗一定数量Token。不然有人刷你直接破产，换个赛道。。

我裂开了。 I记住有一次没做限流，被脚本狂刷，一较小时烧掉几百块，后来才加了令牌桶和漏桶混合用。其实原理我也不是很懂，就是抄别人的配置改数字。

接入层是第一道关卡

Nginx或者Traefik先顶着，较大公司用APISIX或者Kong能够做插件化 统一API管理。我这边先用Nginx，这是因为简洁市场价格较低。入口统一服务无状态任务异步化资源条件池化这一些词我记住了但具体怎么弄还是边查边填坑，我好了。。

我直接起飞。 WAF CDN负载均衡都加上，不然DDoS来了直接跪。很更多人忽略这一步，等出事再补就晚了。

应用服务别保存状态

所谓无状态就是不在单个服务实例内部保存用户会话和任务状态，而是将状态存放在Redis数据库或对象存储中。这样当流量提升时能够直接启动更更多服务实例实现横向扩容。我之前把session放内存，最终还是结果是扩容后用户登录就掉线，被老板骂。

泰酷辣！ Kubernetes部署时需要沉重点配置副本数HPA探针资源条件约束，不然pod起不来或者起太更多钱烧光。helm repo add ai-platform https://helm install ai-platform ai-platform/ai-platform --namespace ai-platform --create-namespace --set = 这条命令我复制粘贴错过三次才成功。

消息队列异步化

较高并发系统中能异步就不要同步AI任务能够分为三类较短任务中任务较长任务。较短任务比如简洁文本问答能够同步或流式返回， 中任务比如知识库问答较长文本能够用流式输出或后台任务，较长任务比如AI绘图视频生成必须要异步处理。

User提交任务后系统立刻返回task id后台Worker消费落实用户能够通过轮询WebSocketSSE或回调获取最终还是结果是。这样接口不会阻塞连接堆积。我用的Redis BullMQ较小项目够用，较大项目提议Kafka RocketMQ更稳，换位思考...。

Caching 能省很更多钱

毕竟.… Caching是提升性能减较低投入成本的十分沉关键手段。能够缓存的内容包括Prompt压缩删除无效上下文只保留必不可更少信息类似问题答案向量类似度缓存历史持续发展最终还是结果是等。对类似问题固定FAQ历史持续发展最终还是结果是进行缓存能较大幅降较低模型调用次数。我以前没做缓存同样问题一天算几万次账单吓人。

PROMPT压缩也很关键删除无效上下文只保留必不可更少信息Token省下来就是钱。还有按用户等级分配资源条件免费用户约束并发和Token付费用户享受更较高优先级。 琢磨琢磨。 当前这个策略直接决定营收。

RDS向量数据库怎么选

If希望一键部署简洁能够选择PostgreSQL加pgvector如果数据规模较较大并发检索要求较高能够选择Milvus或Qdrant。我当前用pgvector先跑起来后面再迁移。向量检索优化沉重点包括索引类型分片策略查询路由预炎热等，不然检索缓慢整个问答体验就垮了。

nvidia GPU推理优化瞎讲两句

太硬核了。 vLLM在较高并发推理场景较为常用这是因为它支持PagedAttention连续批处理能够显著提升吞吐量。如果企业选择本地部署较大模型需要沉重点关注GPU资源条件利用率常见推理框架包括TensorRT-LLM DeepSpeed vLLM等。我没钱买GPU所以暂时用第三方API OpenAI Claude Gemini 通义千问 文心一言智谱 DeepSeek等，需要关注速率约束费用异常消耗熔断切换备用供应商等问题。

太顶了。 特点是生成任务更多Token消耗明显提议采用模型分级调用简洁任务采用较小模型繁杂任务采用较大模型。当较高质量模型达到调用上限时自动切换到较低投入成， 当某个供应商不可用时切换到备用供应商，当前这个智能路由很十分沉关键但实现起来很麻烦我还在调bug. vLLM + TensorRT-LLM双路径落地实践有点水 Hmm较大模型的部署和运行面临着巨较大的挑战尤其是在在较高并发场景下。