持续贡献开源社区，麒麟软件方案修复K8s NUMA调度BUG
发布时间：2023-10-12 浏览次数：
Kubernetes（简称“K8s”或者“Kube”）是一个开源的，用于管理云平台中多个主机上的容器化的应用，K8s的目标是让部署容器化的应用简单并且高效，是理想的托管平台。K8s于2015年发布，并迅速成为事实上的容器编排标准。 在相关项目中，采用麒麟云原生平台，基于K8s调度相关的scheduler-plugins和node-feature-discovery项目深度定制开发了NUMA感知调度功能，以满足特定客户需求。在开发测试验证环节，分别发现开源社区的scheduler-plugins和node-feature-discovery项目存在以下问题。 问题现象描述 scheduler-plugins是K8s调度SIG的扩展库项目，用于增强K8s默认调度器的功能。其中，noderesourcetopology插件支持NUMA感知调度，但若某台服务器的NUMA节点中存在未插入内存条的情况，可能会出现问题：分配给Pod的NUMA节点组合中可能包含这些无内存的节点，导致Pod无法正常运行。 node-feature-discovery是K8s另一个SIG的项目，用于收集节点硬件信息，包括NUMA拓扑信息。同样，若某个节点的NUMA节点存在未插入内存条的情况，node-feature-discovery服务也可能无法启动，从而无法获取节点的NUMA拓扑信息。 问题定位 针对scheduler-plugins问题，经过定位发现：findSuitableCombination函数在选取NUMA node组合时未经过充分的考虑。如下图所示，该函数主要是在循环检查每一种NUMA node组合，针对具体一种NUMA node组合，首先计算组合内资源总和（下图所标识的第一步），接着判断该资源总和是否满足pod资源请求（下图所标识的第二步）。假设一种NUMA node组合为 "2,3,6"，2和6的内存之和满足pod内存请求，但是3没有插入内存条，此时依然认为 "2,3,6"组合是满足要求的。 针对node-feature-discovery问题，经过定位发现，GetNumaMemoryResources函数在计算服务器上的NUMA node的memory与hugepages信息时发生错误，该函数默认所有NUMA node都有内存条，导致遍历计算某些未插入内存条的NUMA node的hugepages信息发生错误。如下图所示：getHugepagesBytes函数计算某些未插入内存条的NUMA node的hugepages信息会发生错误，导致整个node-feature-discovery服务启动失败。 问题修复 基于上述分析及定位，麒麟软件推出修复方案： （1）针对scheduler-plugins问题，在循环检查每一种NUMA node组合中，先对具体的NUMA node组合进行有效性校验，对不存在某种资源的非法组合进行过滤，有效的组合才会进行接下来的计算。 （2）针对node-feature-discovery问题，GetNumaMemoryResources函数遍历计算服务器上的NUMA node的memory与hugepages信息时，如果getHugepagesBytes函数返回的错误是文件或者目录不存在则跳过该计算。 以上修复方案已第一时间反馈，并被CNCF社区接受。 通讯员 | 刘韵 来 源 | 麒麟云事业部 审 核 | 市场与政府事务部 往期回顾