Products
96SEO 2026-02-23 15:01 6
巴内部多年容器调度、混部实践经验孵化诞生是行业首个生产可用、面向大规模场景的开源混部系统致力于提升应用服务质量优化资源使用效率。
自
社区的活跃成员自项目诞生初期就深度参与了一系列重要功能的演进。
本文是基于
社区成员宋泽辉小红书、张佐玮阿里云为大家介绍了小红书混部技术实践以及
随着小红书业务的高速发展各类在线离线业务对于计算资源的需求也在快速增长。
与此同时部分在线集群天均利用率水位却维持在较低水平造成这一现象的主要原因有以下几点
在线服务资源使用量随着终端用户的使用习惯呈现稳定的潮汐现象夜间
利用率较低业务保有大量的独占资源池资源池割裂产生大量的资源碎片拉低
年开始通过规模化落地混部技术来大幅提升集群资源效能降低业务资源成本。
早期集群资源管理粗放集群中存在大量业务独占资源池因为资源碎片等因素存在大量低分配率的低效节点散落在各个集群中的低效节点形成大量资源浪费。
另一方面部分基于
发布的转码类近线/离线场景全天时段均存在大量计算资源需求。
基于以上背景容器平台通过技术手段将集群中的闲置资源收集起来分配给转码类业务场景使用。
打通元数据集群与物理集群将闲置资源汇聚起来在元数据集群分配给转码类场景近线/离线计算服务。
策略方面二次调度器负责巡检集群所有节点识别为低效节点后标记出来virtual-kubelet
获取物理集群中的低效节点可用资源作为集群闲置资源二次分配给离线转码同时二次调度器需要保证一旦在线服务有资源需求将会立刻驱逐离线
利用率潮汐现象明显夜间利用率极低资源池中的单个节点往往也只部署一个大规格业务
Pod基于以上背景平台通过弹性能力HPA在凌晨业务低峰期按比例对在线业务缩容腾挪空出整机并将转码训练等离线
具体实施时需要确保在线服务能在规定的时间内全部被拉起为此策略方面我们实现了离线提前退场并通过调度器抢占机制兜底确保在线服务在业务高峰期来临之前能被全量及时拉起。
为了降低资源碎片率降低业务资源持有成本平台持续推进业务大规模合池将业务由独占池迁至平台托管的公共混部池通过合池资源超卖等技术手段CPU
分配率得到有效提升但依旧无法解决合并后的资源池夜间利用率较低等问题。
另一方面合池后的复杂混部场景下整机腾挪分时混部离线的调度策略很难再继续实施平台需要通过建设更为细粒度的资源管理与调度能力来实现均值利用率提升的目标具体包含以下几点
通过动态超卖技术获取可二次分配给离线的可用资源量并抽象出离线资源视图让
调度器感知到调度器调度离线负载到对应节点上实现离线对节点利用率的“填谷”效果通过负载调度尽可能避免在线服务被调度到高负载机器让集群中节点负载更加均衡通过二次调度驱逐负载热点机器上的高利用率服务使得集群负载处于动态均衡状态。
等级提供差异化的运行时资源保障能力支持干扰检测、离线驱逐等能力当离线对在线敏感服务产生干扰时第一时间驱逐离线。
通过以上技术手段可以有效保障服务混部时的稳定性从而常态化的让在线离线工作负载混跑在节点上实现利用率填谷效果的最大化。
小红书各类业务场景通过各类发布平台、任务平台提交后通过上层负载编排能力以
形式下发到统一调度系统。
统一调度系统基于不同的调度需求对在线服务提供强保障的资源交付能力差异化的
保障能力对离线服务提供最小资源需求的保障能力和极致的弹性能力。
离线调度coscheduling二次调度热点驱逐碎片整理负载调度基于
离线服务资源调度的基本原理是基于在线服务负载感知能力的动态超卖具体实现是将节点空闲资源二次分配给离线业务
其中离线可用资源为节点上的空闲资源包含未分配资源和已分配未使用资源之和扣除安全预留资源之后剩余资源离线可用资源计算公式如下
实际落地过程中为了避免离线可用资源随在线服务资源使用波动而大幅波动从而影响离线资源质量和离线服务运行稳定性通过资源画像对上述公式中的在线服务实际使用量数据进一步处理去除数据噪点最终计算出一个相对稳定的离线可用资源量图中绿色部分如图所示
Qos等级说明业务场景latency-sensitive最高Qos保障等级延迟极为敏感服务搜推广延迟极为敏感场景mid默认Qos保障等级容忍部分干扰延迟网关java微服务batch最低Qos保障等级延迟不敏感资源随时可能被抢转码sparkflink训练等计算场景
资源特性latency-sensitivemidbatchCPUcpu
burstenableenabledisable调度优先级最高默认低绑核share(默认)share(默认)reclaimednuma强保证prefer默认noneL3
cache100%100%默认30%默认内存带宽100%100%默认30%默认内存OOM优先级最低默认最高内存回收水线调高默认调低
长期得不到满足单机侧支持按照离线服务内部定义的优先级配置资源用量运行时长等多维度综合算分排序后按序驱逐。
小红书作为一个数亿用户的内容社区其离线业务场景丰富多样其中包含大量视频类图片类转码场景搜推cv/nlp
算法推理训练算法特征生产数仓查询等离线场景具体来讲包含以下业务类型
为底座的在离线统一调度能力将这些离线业务与在线服务混合部署在统一计算资源池内为在线服务提供差异化的资源质量保障为离线服务提供海量的低层本算力实现资源效能的提升。
任务因为离线集群资源紧张导致任务堆积不能得到及时处理同时在线集群在业务低峰时段资源使用率较低另一方面相当占比的
调度器上在这样的背景下为了降低业务迁移成本方案选型方面我们选择与
管控接口Neptune-agent/koordlet离线资源上报节点离线
调度器之间原本独立且相互不感知为了共享分配在线集群节点上的总可用离线资源需要通过
具体解决措施是在单机侧增加了仲裁逻辑当节点已分配离线服务资源量长期超过节点可用离线资源且离线使用率持续较高存在离线服务得不到资源被饿死的可能单机侧则会根据离线服务的优先级资源占用量运行时长等因素综合算分并按序驱逐。
截止目前小红书混部能力覆盖数十万台机器规模覆盖算力规模数百万核支持数万规模在线、离线场景服务的资源调度。
通过大规模容器混部的持续推进小红书在资源成本效能等方面都取得了显著收益具体包含以下两方面
在保证离线业务稳定性的前提下为小红书各类离线场景提供数百万核时的低成本算力。
混部集群
的助力小红书的混部已经覆盖公司数万台节点提供数十万核离线资源整体混部集群的利用率提升至
在小红书近一年多混部技术探索过程中我们在资源效能提升方面积累了较为丰富的落地经验并取得了不错的提升效果随着公司业务规模逐步增长场景愈发复杂我们将会面临诸多新的技术挑战。
下个阶段我们的目标是建设面向混合云架构的统一资源调度能力具体工作将围绕以下三方面展开
在内的任务型工作负载调度能力建设满足小红书所有业务场景的资源调度功能性能需求资源效能进一步提升
化资源交付通过更加激进的弹性混部超卖等技术手段实现集群资源利用率的进一步提升资源成本的大幅下降更高服务质量保障能力
感知调度能力干扰检测能力依托安全容器等技术手段解决深水区混部中可能遇到的各类混部干扰问题。
作为专业的SEO优化服务提供商，我们致力于通过科学、系统的搜索引擎优化策略，帮助企业在百度、Google等搜索引擎中获得更高的排名和流量。我们的服务涵盖网站结构优化、内容优化、技术SEO和链接建设等多个维度。
| 服务项目 | 基础套餐 | 标准套餐 | 高级定制 |
|---|---|---|---|
| 关键词优化数量 | 10-20个核心词 | 30-50个核心词+长尾词 | 80-150个全方位覆盖 |
| 内容优化 | 基础页面优化 | 全站内容优化+每月5篇原创 | 个性化内容策略+每月15篇原创 |
| 技术SEO | 基本技术检查 | 全面技术优化+移动适配 | 深度技术重构+性能优化 |
| 外链建设 | 每月5-10条 | 每月20-30条高质量外链 | 每月50+条多渠道外链 |
| 数据报告 | 月度基础报告 | 双周详细报告+分析 | 每周深度报告+策略调整 |
| 效果保障 | 3-6个月见效 | 2-4个月见效 | 1-3个月快速见效 |
我们的SEO优化服务遵循科学严谨的流程，确保每一步都基于数据分析和行业最佳实践：
全面检测网站技术问题、内容质量、竞争对手情况，制定个性化优化方案。
基于用户搜索意图和商业目标，制定全面的关键词矩阵和布局策略。
解决网站技术问题，优化网站结构，提升页面速度和移动端体验。
创作高质量原创内容，优化现有页面，建立内容更新机制。
获取高质量外部链接，建立品牌在线影响力，提升网站权威度。
持续监控排名、流量和转化数据，根据效果调整优化策略。
基于我们服务的客户数据统计，平均优化效果如下：
我们坚信，真正的SEO优化不仅仅是追求排名，而是通过提供优质内容、优化用户体验、建立网站权威，最终实现可持续的业务增长。我们的目标是与客户建立长期合作关系，共同成长。
Demand feedback
