咱就是说DigitalOcean的AI路由器构建原理其实挺有意思的。

它不是简单地用一个模型搞定所有任务，而是根据不同的任务选择Zui合适的模型。

Zui初，他们使用的是Arch-Router，一个.5B的生成式语言模型，专门为单路由分类Zuo了微调。

但后来发现，真实的对话是杂乱无章的，用户会发送模糊的追问或完全不需要路由的消息。

所以他们开发了Plano-Orchestrator，一个30B的混合专家模型，专门针对长上下文窗口中的任务检测进行了微调。

因为不同的任务需要不同的模型来处理，Ru果用一个硬编码的模型，会导致成本和延迟的问题。

你懂的，用错模型就可Neng浪费资源或影响性Neng。

举个例子，Ru果你是一名开发者，正在使用Cursor、Claude Code、Open Code或任何编码智Neng体，你大概Yi经感受到这一点了。

在一个会话中，你的智Neng体会Zuo深度的代码库分析、编写新函数、根据测试输出修复bug、解释方法、搜索文档。

这些任务并不相同，但Ru果你只用一个硬编码的模型，你就得为所有任务dou付前沿模型的价格，包括那些根本不需要的。

Plano是一个开源的AI原生代理，负责处理整个生命周期：分类意图、对模型排序、转发到排名Zui高的供应商，并将响应流式传回。

它支持跨供应商API的格式转换，用于自带供应商密钥的自托管部署。

排序算法hen直接：根据实时成本和延迟数据，对匹配到的任务的候选模型进行排序。

知道正确的任务只是问题的一半，在一个任务中，你可Neng有三款候选模型，哪款Zui好，取决于你此刻要优化成本还是延迟。

这个问题其实挺复杂的，但大致上是因为网站的内容质量、结构化数据、外部链接等因素影响了百度的收录策略。

说实话，这跟DigitalOcean的AI路由器没直接关系，但dou是技术领域常见的问题。

开始路由的Zui快方式是使用预设路由器，推理路由器内置了针对常见工作流的预设，如软件工程、通用、写作、知识库与文档智Neng。

routing_preferences: - name: code_generation description: generating new code, writing functions, or creating boilerplate models: - anthropic/claude-sonnet-- - openai/gpt-4o selection_policy: prefer: fastest

selection_policy 则指定了排序引擎应该优化哪个指标，是成本Zui低还是速度Zui快？

自托管路由引擎Yi作为Plano开源，Ke以在DigitalOcean上试用推理路由器，或使用演示自托管运行Plano。

注：推理路由器由DigitalOcean AI推理云团队的多位成员共同构建，包括Tyler Gillam、Alex Malynovsky、Ram Parthasarathy、Prasad Prabhu、Nirmal Chander Srinivasan以及许多其他人。

Brightstaff 是一个原生二进制文件，与Envoy并行运行，负责处理路由逻辑，包括意图解析、模型排序和OTEL链路追踪。

Envoy 负责处理TLS、连接池、重试、熔断以及HTTP/多路复用，对路由来说其线程模型尤为重要：每个CPU核心一个事件循环工作线程，每个连接固定在一个工作线程上，在热路径中不存在锁竞争。

curl -s https://inference.do-ai.run/v1/chat/completions \ -H "Authorization: Bearer $MODEL_ACCESS_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "router:software-engineering", "messages": }'

Inference Router的关键特性与优势是什么？Inference Router 的关键特性包括： 1. 动态优化Neng够根据实时数据动态选择Zui优模型。 2. 可 性支持多种 AI 模型和供应商，易于 至新的平台。 3. 简化配置提供预设配置，同时支持自定义任务和策略。 4. 多维度评估结合成本、延迟和质量进行综合决策。 5. 开源支持核心组件 Plano Yi开源，便于用户自托管和定制化部署。 Inference Router 的优势体现在以下方面： 1. 降低成本通过智Neng匹配Zui优模型，避免在简单任务上过度消耗资源。 2. 提升性Neng针对特定任务选择Zui佳模型，确保高效执行。 3. 灵活性无论是预设配置还是自定义规则，douNeng满足不同场景需求。 4. 易用性用户无需深入了解底层技术，即可快速接入并优化 AI 调用。 Inference Router 的实现细节是怎样的？Inference Router 的实现依赖多个关键组件协同工作，主要包括以下部分： 1. 路由模型的训练与优化

- 专用小模型用于解析用户意图，将输入与自然语言任务描述匹配，从而决定请求应被路由到哪个具体 AI 模型。 - 路由模型的训练专注于提高分类准确率，同时兼顾低延迟需求。例如Arch-Router 和 Plano-Orchestrator 就是为此目的设计的专用路由模型。

- 一旦确定用户意图，排序引擎会基于实时数据对符合条件的候选模型进行排序。 - 支持多种优化策略，例如“Zui低成本”“Zui快响应”或按预设顺序选择，确保系统Neng够灵活适应不同业务场景的需求。

- Envoy 作为高性Neng代理服务器，负责流量管理，包括 TLS 处理、多路复用及连接池管理。其线程模型确保每个连接固定在单个工作线程上，避免锁竞争，从而提升性Neng。 - WASM 过滤器4. 配置管理与自定义选项

routingpreferences: 
- name: codegeneration 
description: generating new code, writing functions, or creating boilerplate 
models: 
User Ke以通过配置文件定义自己的 routing preferences，包括指定任务名称/任务描述/候选 AI 模型的顺序以及选择策略。这种灵活性使得 Inference Router Ke以被广泛应用于不同业务需求中，同时保持高度可定制化Neng力。 

User 还Ke以选择预设配置，以便快速上手并减少手动调优的工作量。这些预设经过基准测试，Neng够直接应用于常见的工作流，大大简化了部署流程。 

5. 自托管Neng力与开源生态 

Inference Router 的核心组件 Plano Yi经开源，用户Ke以选择自行托管整个系统。这不仅提供了geng高的灵活性和控制权，还允许企业根据自身需求进一步定制功Neng或集成其他工具链。配套提供的 Kubernetes 资源清单/Docker Compose 文件等简化了自托管过程中的复杂性，使其geng易于操作和维护。 

6. 可观测性与评估工具 

User Ke以通过 Analyze 仪表盘查kan实时流量数据，包括请求数/Token 用量/匹配率等关键指标。此外“Evals”功Neng允许 User 使用数据集对 Router 进行系统性评估，以验证其输出质量是否符合预期。这些工具帮助 User 在上线前充分验证配置效果，并在生产环境中持续监控表现。 

7. 多维度决策Neng力及其优势体现Inference Router 通过结合多个维度来进行综合决策。这种方法带来了显著优势，例如降低总体调用成本/提升系统整体性Neng以及增强灵活性——User 无需修改代码即可调整优化目标或geng换底层 AI 供应商。这些特性共同构成了 Inference Router 高效/智Neng且具有前瞻性的基础设施解决方案。综上所述,DigitalOcean 的 AI 路由器通过结合专用路由模型的准确意图解析Neng力/基于实时数据的动态排序机制以及高度可
的基础设施架构,为现代 AI 应用提供了高效、低成本且灵活可
的技术支撑。不论是预设配置还是自定义规则,dou让 User Neng轻松应对复杂多变的业务场景,同时保持对底层细节的有效控制。