Ray

Ray

Tag

当前位置:首页 > Ray >
  • Triton、Ray Serve、KServe 与 PD分离,推理服务化了吗?

    Triton、Ray Serve、KServe 与 PD分离,推理服务化了吗?

    原文发布于 quant67.com,转载请保留出处。 前两篇讲了 Agent 与工具调用,本质是“应用层”。再往下一层,是支撑所有 Agent / Chat / 向量检索 rerank 的推理服务层 。不过,单机跑一个vllm serve 谁都会。但当你要同时托管N 个模型、M 个 LoRA、每秒万条请求、SLO p99 这一篇把“把推理引擎做成服务”这件事拆开:服务层选型、多 GPU 拓扑

    查看更多 2026-08-14

提交需求或反馈

Demand feedback