IT之家 4 月 18 日消息,在云原生调度中,一次调度往往无法解决所有问题,需要配合重调度来优化资源分配和任务摆放。今日,字节跳动技术团队宣布开源 Godel-Rescheduler,号称是“适用于云原生系统的全局最优重调度框架”。
据字节官方介绍,这是一个基于全局最优调度策略的重调度框架。它不仅能识别集群中的异常节点和任务,还能智能推荐任务到最合适的位置,并通过图算法生成详细的迁移步骤,确保集群的整体稳定性,真正实现全局最优调度。
Godel-Rescheduler 由两个核心模块组成:Policy Manager 和 Movement Manager。其中,Policy Manager 负责输出重调度决策,而 Movement Manager 则负责拆解并执行这些决策。整个框架的目标是通过重调度,使集群朝向全局最优状态发展。
目前字节跳动已经成功将 Godel-Rescheduler 应用到多个内部项目中,支持多种重调度策略的协同工作。例如:
合并部署重调度:优化上下游应用实例在相同节点上的调度。
负载均衡重调度:在负载、内存带宽、网络带宽等方面进行优化。
碎片整理重调度:有效减少 CPU、GPU 等资源的碎片率等。
在实际应用中,Godel-Rescheduler 已帮助字节跳动的数万卡 GPU 集群将碎片率控制在 5% 以下,同时在大规模混合部署集群中,热点节点比例控制在 0.1% 以下。
IT之家附 Godel ReScheduler 项目地址:
https://github.com/kubewharf/godel-rescheduler
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。