k8s调度器-Pod分配给节点(Taint污点和Toleration容忍)案例

Kubernetes调度器-Pod分配给节点（Taint污点和Toleration容忍）

Taint和Toleration

节点亲和性是pod的一种属性（偏好或硬性要求），它使pod被吸引到一类特定的节点。Taint则相反，它使节点能够排斥一类特定的pod。

Taint和toleration相互配合，可以用来避免pod被分配到不合适的节点上。每个节点上都可以应用一个或多个taint ，这表示对于那些不能容忍这些taint的pod，是不会被该节点接受的。如果将toleration应用于pod上，则表示这些pod可以（但不要求）被调度到具有匹配taint的节点上

污点（Taint）

给节点增加一个taint，node节点被设置上污点之后就和pod之间存在了一种相斥的关系，可以让node节点拒绝pod的调度执行，甚至将node节点存在的pod驱逐出去。

添加污点的方式：kubectl taint nodes node1 key=value:NoSchedule

给节点node1增加一个taint，它的key是key，value是value，effect是NoSchedule。这表示只有拥有和这个taint相匹配的toleration的pod才能够被分配到node1这个节点。可以在PodSpec中定义pod的toleration。

删除上述命令添加的taint：

kubectl taint nodes node1 key:NoSchedule-

每个污点有一个key和value作为污点的标签，其中value可以为空，effect描述污点的作用，当前taint的effect支持如下三个选项：

1）NoSchedule:表示k8s将不会将pod调度到具有该污点的node上

2）PreferNoSchedule:表示k8s将尽量避免将pod调度到具有该污点的node上

3）NoExecute:表示k8s将不会将pod调度到具有该污点的node上，同时会将node上已经存在的pod驱逐出去

污点查看、设置、去除操作

1）查看

[root@k1 ~]# kubectl get nodes

NAME STATUS ROLES AGE VERSION

192.168.10.11 Ready 5d21h v1.18.0

192.168.10.12 Ready 5d21h v1.18.0

[root@k1 ~]# kubectl describe node 192.168.10.11 |grep Taints

Taints:

[root@k1 ~]# kubectl describe node 192.168.10.{11,12} |grep Taints

Taints:

Taints:

2）添加污点

kubectl taint node 192.168.10.11 key1=value1:NoSchedule

node/192.168.10.11 tainted

添加副本pods 由2个到 4个

kubectl edit deploy nginx-v1-deployment

默认不分配到 10.11 nodes上

[root@k1 yaml]# kubectl get pods -o wide

3)删除污点

kubectl taint node 192.168.10.11 key1=value1:NoSchedule-

[root@k1 yaml]# kubectl describe node 192.168.10.{11,12} |grep Taints

Taints: key1=value1:NoSchedule

Taints:

[root@k1 yaml]# kubectl taint node 192.168.10.11 key1=value1:NoSchedule-

node/192.168.10.11 untainted

[root@k1 yaml]# kubectl describe node 192.168.10.{11,12} |grep Taints

Taints:

Taints:

4）查看标签

kubectl get nodes --show-labels

容忍（Tolerations）

设置了污点的node将根据taint的effect：NoSchedule、PreferNoSchedule、NoExecute和pod之间产生互斥的关系，pod将在一定程度上不会被调度到node上。但我们可以在pod上设置容忍Toleration，设置了容忍的pod将可以容忍污点的存在，可以被调度到存在污点的node上

在PodSpec中为容器设定容忍标签。以下两个容忍标签都与上面的kubectl taint 创建的污点"匹配"， 因此具有任一容忍标签的Pod都可以将其调度到"node1"上：

tolerations:
- key: "key"
  operator: "Equal"
  value: "value"
  effect: "NoSchedule"
tolerations:
- key: "key"
  operator: "Exists"
  effect: "NoSchedule"

一个toleration和一个taint相"匹配”"指它们有一样的key和effect ，并且：如果operator是Exists,此时toleration不能指定value。

如果operator是Equal，则它们的value应该相等。

注意：

存在两种特殊情况：

1)如果一个toleration的key为空且operator为Exists，表示这个toleration与任意的key、value和effect都匹配，即这个toleration能容忍任意taint。

tolerations:

- operator: "Exists"

2)如果一个toleration的effect为空，则key值与之相同的相匹配taint的effect可以是任意值。

tolerations:

- key: "key"

operator: "Exists"

上述例子使用到的effect的一个值 NoSchedule，您也可以使用另外一个值 PreferNoSchedule。这是“优化”或“软”版本的 NoSchedule ——系统会尽量避免将pod调度到存在其不能容忍 taint 的节点上，但这不是强制的。effect 的值还可以设置为 NoExecute

可以给一个节点添加多个taint ，也可以给一个pod 添加多个toleration。Kubernetes处理多个taint和toleration的过程就像一个过滤器：从一个节点的所有taint开始遍历，过滤掉那些pod中存在与之相匹配的toleration的taint。余下未被过滤的taint的effect值决定了pod是否会被分配到该节点，特别是以下情况：如果未被过滤的taint中存在一个以上effect值为NoSchedule的taint，则k8s不会将 pod 分配到该节点。如果未被过滤的taint中不存在effect值为NoSchedule的taint，但是存在effect值为PreferNoSchedule的taint，则Kubernetes会尝试将pod分配到该节点。如果未被过滤的taint中存在一个以上effect值为NoExecute的taint，则Kubernetes不会将pod分配到该节点（如果 pod 还未在节点上运行），或者将pod从该节点驱逐（如果pod已经在节点上运行）

通常情况下，如果给一个节点添加了一个effect值为NoExecute的taint，则任何不能忍受这个taint的pod都会马上被驱逐，任何可以忍受这个taint的pod都不会被驱逐。但是，如果pod存在一个effect值为NoExecute的toleration指定了可选属tolerationSeconds的值，则表示在给节点添加了上述taint之后，pod还能继续在节点上运行的时间

设置容忍的pod

tolerations:

- key: key1

operator: Equal

value: value1

effect: NoSchedule

NoExecute 驱逐

kubectl taint node 192.168.10.12 key1=value1:NoExecute

node/192.168.10.12 tainted

查看状态

kubectl get pods -o wide