k8s: LimitRange k8s安装部署步骤

前面介绍了k8s的ResourceQuota，现在再来介绍下limitRange。

Resource Quota资源限制的粒度是namespace，其目的是为了防止不同namespace占用了太多的资源。而limitRange资源限制的粒度则是container，在同一个namespace下限制container的资源。另外，在设置了resourceQuota的namespace下，如果用户创建Pod时没有指定limit/request，默认是无法创建的 Error from server (Forbidden)，此时可以通过创建limitRanges来统一配置该namespace下容器默认的limit/request，或在创建POD的yaml文件下定义Resources。

来看下面这个例子。

先创建一个namespace，并切换到该namespace。

kubectl create namespace limit-example
kubens limit-example  #使用kubens快速切换namespace, 可以装一个，很好用。

然后apply下面的yaml文件。

apiVersion: v1
kind: LimitRange
metadata:
  name: mem-limit-range
spec:
  limits:
  - default:
      memory: 512Mi
      cpu: 1
    defaultRequest:
      memory: 256Mi
      cpu: 0.5
    max:
      memory: 1024Mi
      cpu: 1
    min:
      memory: 128Mi
      cpu: 0.5
    type: Container

说明：

• default：创建container的默认limit
• defaultRequest：创建container的默认request
• max：指定namespace下创建container可用资源最大值
• min：指定namespace下创建container需求资源最小值

看一下刚创建的limits。

$ kubectl describe limits
Name:       limit-range
Namespace:  resource-quota
Type         Resource    Min    Max  Default     Request    Default Limit  Max Limit/Request Ratio
----           --------        ---     ---     ---------------  -------------  -----------------------
Container   cpu          500m   1      500m             1              -
Container   memory  128Mi  1Gi   256Mi           512Mi       -

现在尝试创建一个超资源限制的POD看下效果。

apiVersion: v1
kind: Pod
metadata:
  name: default-cpu-demo-maxmin
spec:
  containers:
  - name: default-cpu-demo-ctr-maxmin
    image: nginx
    resources:
      limits:
        cpu: "1.1"
        memory: 1.1Gi

会看到失败信息，提示超过上面所创建LimitRange的max了。

kubectl apply -f nginx-maxmin.yaml 
Error from server (Forbidden): error when creating "nginx-maxmin.yaml": pods "default-cpu-demo-maxmin" is forbidden: [maximum cpu usage per Container is 1, but limit is 1100m., maximum memory usage per Container is 1Gi, but limit is 1181116006400m.]

再看看default和defaultRequest。

在namespace limit-example下创建下面的Pod。该Pod未指定任何资源限制信息。

apiVersion: v1
kind: Pod
metadata:
  name: default-cpu-demo
spec:
  containers:
  - name: default-cpu-demo-ctr
    image: nginx

创建后来看看其实际资源的情况，可以看到是按照上面LimitRange的limits default配置的。

apiVersion: v1
kind: Pod
spec:
  containers:
  - image: gcr.io/nginx
    imagePullPolicy: Always
    name: default-cpu-demo-ctr
    resources:
      limits:
        cpu: "1"
        memory: 512Mi
      requests:
        cpu: 500m
        memory: 256Mi

注意：如果container只设置了limit，没有设置request，那么最终创建出来的container，其request=limit。而不是想当然的是LimitRange配置的default request。

apiVersion: v1
kind: Pod
metadata:
  name: default-cpu-demo-maxmin
spec:
  containers:
  - name: default-cpu-demo-ctr-maxmin
    image: nginx
    resources:
      limits:
        cpu: "1"
        memory: 1Gi

尝试创建，提示request要求为1核1G，超过LimitRange配置的defaultRequest限制。

kubectl apply -f nginx-maxmin.yaml 
Error from server (Forbidden): error when creating "nginx-maxmin.yaml": pods "default-cpu-demo-maxmin" is forbidden: exceeded quota: compute-resources, requested: requests.cpu=1,requests.memory=1Gi, used: requests.cpu=500m,requests.memory=256Mi, limited: requests.cpu=1,requests.memory=1Gi

如果container只设置了request，没有设置limit，则最终container的limit为LimitRange配置的default limit设置的值。

简单来说。

request：需求，container最低资源保障，影响的是k8s的调度请求，在调度时k8s会选择在满足request资源条件的node上运行。

limit：则是硬限制，container可以分配到的最大资源配额，防止container无限制的占用node的资源。

由于k8s调度时考虑的是request而不是limit，那么必然会出现某个node上container的limit总和超过该node资源的情况，此时，k8s针对cpu和memory会做不同的处理。

对于cpu是可压缩资源，在cpu达到limit时，k8s会通过重新分配权重来限制Pod的cpu使用，而不会导致Pod被驱逐。

对于memory是不可压缩资源，如果资源不足，也就无法继续申请到资源，此时K8s会从该节点上驱逐一定数量的Pod，以保证该节点上有充足的资源。