标签： scheduler

发布于

YARN ResourceManager 调度器：Capacity Scheduler 与 Fair Scheduler 对比

YARN ResourceManager 调度器：Capacity Scheduler 与 Fair Scheduler 的一场“公平”较量 (ง •̀_•́)ง 各位观众老爷，大家好！我是你们的老朋友，江湖人称“代码界的段子手”的程序猿老张。今天，咱们不聊风花雪月，也不谈诗词歌赋，来聊聊大数据领域里一个非常重要的组件——YARN ResourceManager 的调度器。 大家都知道，YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中负责资源管理的“大管家”。而 ResourceManager 就像 YARN 的大脑，负责整个集群资源的分配和调度。大脑好不好用，直接决定了整个集群的效率高不高。 ResourceManager 的核心组件之一就是调度器（Scheduler）。调度器就像一个“交通警察”，负责协调各个应用程序对集群资源的请求，避免出现资源争抢和浪费，保证集群高效稳定运行。 目前，YARN 提供了多种调度器，其中最常用的就是 Capacity Scheduler 和 Fair Scheduler。今天，咱们就来一场“公平” …

继续阅读“YARN ResourceManager 调度器：Capacity Scheduler 与 Fair Scheduler 对比”

发布于

MapReduce 框架的调度器：Fair Scheduler 与 Capacity Scheduler

好的，各位观众老爷们，欢迎来到今天的“MapReduce 调度员那些事儿”脱口秀！我是你们的老朋友，江湖人称“代码诗人”的程序猿李白。今天咱们不吟诗作对，就来聊聊Hadoop MapReduce框架里那些默默耕耘的调度器，特别是Fair Scheduler（公平调度器）和 Capacity Scheduler（容量调度器）。 话说这MapReduce啊，就好比一个大型工厂，里面有无数的工人在辛勤劳作。而这些调度器，就像是工厂里的生产经理，负责分配任务，确保生产线高效运转，不让工人闲着，也不让资源浪费。 咱们今天就来扒一扒这两位“生产经理”的底裤，看看他们到底有什么能耐，又是如何各显神通的！ 一、背景故事：为什么需要调度器？ 在开始之前，咱们先得明白一个道理：为什么要有调度器？难道不能让工人（MapReduce任务）自己抢活干吗？ 想象一下，如果真这样，那画面太美我不敢看！ 资源抢夺战： 如果没有统一调度，任务们就会像一群饿狼一样争抢资源，CPU、内存、磁盘IO，通通都是抢夺的目标。最后的结果，要么是某些任务饿死，要么是整个集群因为资源过度竞争而崩溃。 效率低下： 没有规划的生产，效率肯 …

继续阅读“MapReduce 框架的调度器：Fair Scheduler 与 Capacity Scheduler”

发布于

Kubernetes Scheduler 扩展与自定义调度算法实现

Kubernetes Scheduler 扩展与自定义调度算法：让你的 Pod 住进“豪宅”🏡 各位观众老爷，各位技术大佬，大家好！我是你们的老朋友，爱写代码的段子手，今天咱们来聊聊 Kubernetes 调度器（Scheduler）的扩展与自定义调度算法。 话说这 Kubernetes 集群啊，就像一个大型社区，里面住满了各种各样的 Pod，它们就像社区里的居民。而 Kubernetes Scheduler，就是这个社区的“房屋中介”，负责给这些 Pod 安排“房子”，也就是节点（Node）。 默认情况下，Scheduler 已经足够智能，能根据资源需求、污点容忍等因素，把 Pod 安排到合适的节点上。但是，人嘛，总是会有一些“特殊癖好”的，Pod 也一样。比如，有的 Pod 偏爱 SSD 硬盘，有的 Pod 喜欢靠近 GPU 节点，还有的 Pod 就是想和它的“好基友”Pod 住在一起。 这时候，默认的 Scheduler 就有点力不从心了。怎么办呢？别慌，Kubernetes 提供了强大的扩展机制，允许我们自定义调度算法，满足 Pod 的各种“任性”需求，让它们住进心仪的“豪宅” …

继续阅读“Kubernetes Scheduler 扩展与自定义调度算法实现”