Airflow 운영 중 task가 queued 상태에서 약 20분간 멈춰있다가 자동 실패 처리되고, 좀비 Pod가 클러스터에 잔존하는 현상을 디버깅한 기록입니다. 표면적 현상만 보면 어디 한 곳이 명확하게 죽은 것 같지 않은데도 task가 계속 stuck되어

Airflow Triggerer를 사용하면서 겪었던 장애를 정리합니다.

KubernetesPodOperator 사용 시 kubernetes.client.exceptions.ApiException: (400)이 발생하는 원인에 대해서 분석합니다.

Variables 사용 방법을 알아보고, Dag Parsing에서 그 이유를 살펴봅니다.

Basic Concepts of Airflow