Tag
原文发布于 quant67.com,转载请保留出处。 前两篇讲了 Agent 与工具调用,本质是“应用层”。再往下一层,是支撑所有 Agent / Chat / 向量检索 rerank 的推理服务层 。不过,单机跑一个vllm serve 谁都会。但当你要同时托管N 个模型、M 个 LoRA、每秒万条请求、SLO p99 这一篇把“把推理引擎做成服务”这件事拆开:服务层选型、多 GPU 拓扑
查看更多 2026-08-14
Demand feedback