k8s中job與cronjob如何使用

本篇內容介紹了“k8s中job與cronjob如何使用”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

一、前言

job，顧名思義就是任務，job的概念在很多框架中都有，而且實際業(yè)務場景中也使用非常廣泛，比如大家熟悉的hadoop，客戶端可以向集群提交一個job，然后集群根據一定的調度策略來處理這個job；

k8s中的job，主要用于批量處理的業(yè)務場景，比如像那種短暫的一次性任務(每個任務僅運行一次就結束)；

二、k8s中job特點

• 當Job創(chuàng)建的pod執(zhí)行成功結束時，Job將記錄成功結束的pod數量；

• 當成功結束的pod達到指定的數量時，Job將完成執(zhí)行；

job與pod的關系如下圖

三、Job模板配置文件核心配置參數

如下為job的一個模板配置yaml文件中的部分核心配置參數

apiVersion: batch/v1 # 版本號
kind: Job # 類型       
metadata: # 元數據
  name: # rs名稱 
  namespace: # 命名空間 
  labels: 
    controller: job
spec: 
  completions: 6 # 指定job需要成功運行Pods的次數。默認值: 1
  parallelism: 3 # 指定job在任一時刻應該并發(fā)運行Pods的數量。默認值: 1
  ttlSecondsAfterFinished: 5
  activeDeadlineSeconds: 30 # 指定job可運行的時間期限，超過時間還未結束，系統(tǒng)將會嘗試進行終止。
  backoffLimit: 5 # 指定job失敗后進行重試的次數。默認是6
  manualSelector: true # 是否可以使用selector選擇器選擇pod，默認是false
  selector: # 選擇器，通過它指定該控制器管理哪些pod
    matchLabels:      # Labels匹配規(guī)則
      app: counter-pod
    matchExpressions: # Expressions匹配規(guī)則
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板，當副本數量不足時，會根據下面的模板創(chuàng)建pod副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重啟策略只能設置為Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

可以參照各個參數的備注加以理解，下面對其中部分參數做補充說明；

3.1 ttlSecondsAfterFinished

• 當設置了ttlSecondsAfterFinished參數，job完成或者失敗后都會在ttlSecondsAfterFinished所設置的時間后被清理；

• 假設ttlSecondsAfterFinished 設置成30。在job完成或者失敗后30s，job就會被自動清除，包括job和job所管理的pod都會被清除；

• 假設沒有設置，job和job所管理的pod會一直存在，不管是失敗還是成功，不過好像有些k8s的版本ttlSecondsAfterFinished是不生效的，建議使用1.20以上的版本；

3.2 activeDeadlineSeconds

• Job的超時時間，一旦一個Job運行的時間超出該限制，則Job失敗，所有運行中的Pod會被結束并刪除；

• 該配置指定的值必須是個正整數，不指定則不會超時；

• 但是經過實驗，job pod并不會自動刪除，所以如果希望超時后pod會自動刪除還是設置一下ttlSecondsAfterFinished；

3.3 backoffLimit

• 允許執(zhí)行失敗的次數，默認值是6，0表示不允許執(zhí)行失敗；

• 如果Pod是restartPolicy為Nerver，則失敗后會創(chuàng)建新的Pod，如果是OnFailed，則會重啟Pod，不管是哪種情況，只要Pod失敗一次就計算一次，而不是等整個Pod失敗后再計算一個；

• 當失敗的次數達到該限制時，整個Job隨即結束，所有正在運行中的Pod都會被刪除；

• 但是經過實驗，jobpod并不會自動刪除，所以如果希望超時后pod會自動刪除還是設置一下ttlSecondsAfterFinished；

3.4 parallelism

并行運行的Pod的個數，默認值為1，假如設置為3，就會同時開啟3個pod去執(zhí)行任務

3.5 completions

• 完成該Job需要執(zhí)行成功的Pod數；

• 指定需要完成的數量，默認值為1，假設設置為3，需要有三個pod成功完成任務，這個job才算是完成；

四、job案例操作演示

在當前目錄下創(chuàng)建一個jod-pod.yaml文件，配置如下內容

apiVersion: batch/v1
kind: Job      
metadata:
  name: test-job
  namespace: default
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply創(chuàng)建pod

在另外的兩個窗口，我們提前打開監(jiān)控pod和job的執(zhí)行情況，可以看到下面的完整執(zhí)行過程；

從job的執(zhí)行過程來看，經歷了從無到有以及到最終的STATUS狀態(tài)為Completed的過程，這個也和上文提到的job的生命周期描述吻合；

對于Pod的執(zhí)行過程來看，從下面這張圖可以清晰看到STATUS的各個階段變化的完整過程；

其他的模板中的參數可以直接往里面添加即可在job運行過程中看到效果，比如我們在該模板文件中補充兩個參數；

再次運行這個job，通過job和pod的監(jiān)控信息，看到如下的效果；

五、cronjob 理論

CronJob其實就是在Job的基礎上加上了時間調度，我們可以：在給定的時間點運行一個任務，也可以周期性地在給定時間點運行。這個實際上和我們Linux中的crontab就非常類似了。

CronJob控制器以 Job控制器資源為其管控對象，并借助它管理pod資源對象，Job控制器定義的作業(yè)任務在其控制器資源創(chuàng)建之后便會立即執(zhí)行，但CronJob可以以類似于Linux操作系統(tǒng)的周期性任務作業(yè)計劃的方式控制其運行時間點及重復運行的方式。也就是說，CronJob可以在特定的時間點(反復的)去運行job任務。

cronjob 運行原理圖

六、cronjob 模板配置文件核心配置參數

如下為cronjob模板配置文件中核心參數；

apiVersion: batch/v1beta1 # 版本號
kind: CronJob # 類型       
metadata: # 元數據
  name: # rs名稱 
  namespace: # 命名空間 
  labels: #標簽
    controller: cronjob
spec: # 詳情描述
  schedule: # cron格式的作業(yè)調度運行時間點,用于控制任務在什么時間執(zhí)行
  concurrencyPolicy: # 并發(fā)執(zhí)行策略，用于定義前一次作業(yè)運行尚未完成時是否以及如何運行后一次的作業(yè)
  failedJobHistoryLimit: # 為失敗的任務執(zhí)行保留的歷史記錄數，默認為1
  successfulJobHistoryLimit: # 為成功的任務執(zhí)行保留的歷史記錄數，默認為3
  startingDeadlineSeconds: # 啟動作業(yè)錯誤的超時時長
  jobTemplate: # job控制器模板，用于為cronjob控制器生成job對象;下面其實就是job的定義
    metadata:
    spec:
      completions: 1
      parallelism: 1
      activeDeadlineSeconds: 30
      backoffLimit: 6
      manualSelector: true
      selector:
        matchLabels:
          app: counter-pod
        matchExpressions: 規(guī)則
          - {key: app, operator: In, values: [counter-pod]}
      template:
        metadata:
          labels:
            app: counter-pod
        spec:
          restartPolicy: Never 
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]

關于配置文件中的補充參數說明

concurrencyPolicy

concurrencyPolicy 配置策略

• Allow: 允許Jobs并發(fā)運行(默認)；

• Forbid: 禁止并發(fā)運行，如果上一次運行尚未完成，則跳過下一次運行；

• Replace: 替換，取消當前正在運行的作業(yè)并用新作業(yè)替它；

Cron調度語法

注意K8S的定時任務僅支持5位，從minute開始

# ┌───────────── minute (0 - 59)
# │ ┌───────────── hour (0 - 23)
# │ │ ┌───────────── day of the month (1 - 31)
# │ │ │ ┌───────────── month (1 - 12)
# │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
# │ │ │ │ │ 7 is also Sunday on some systems)
# │ │ │ │ │
# │ │ │ │ │
#* * * * *

七、cronjob 案例操作演示

在當前目錄創(chuàng)建一個cron-job.yaml的配置文件，配置內容如下：

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: test-cronjob
  namespace: default
  labels:
    controller: cronjob
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    metadata:
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply（或create命令）創(chuàng)建cronjob

通過開啟其他客戶端窗口，可以監(jiān)控cronjob，job以及pod的運行過程中的狀態(tài)；

cronjob的運行狀態(tài)

上面的配置策略是每分鐘執(zhí)行，從下圖的運行效果中也可以看出來；

job的運行狀態(tài)

pod的運行狀態(tài)

cronjob使用場景

Cron 作業(yè)對于創(chuàng)建周期性和重復性任務很有用，例如運行備份或發(fā)送電子郵件。Cron 作業(yè)還可以將單個任務安排在特定時間，例如，你想將作業(yè)安排在業(yè)務低峰期執(zhí)行。

“k8s中job與cronjob如何使用”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！