Composer DAG 자동 실행 방지 설정 방법

안녕하세요 MC에몽입니다.

이번 주는 GCP Composer 서비스의 DAG 자동 실행 방지 설정 하는 방법을 설명하겠습니다.

Composer란, 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스입니다.
워크플로는 데이터 수집, 변환, 분석, 활용을 위한 일련의 Task를 뜻합니다.


DAG란, 관계 및 종속 항목을 반영하는 방식으로 구성된 Task의 모음입니다. [1]

이러한 DAG는 기본적으로 생성을 하게 되면 아래와 같이 자동 실행이 되게끔 설정이 되어있습니다.

이러한 기본 설정은 DAG Migration을 할 경우에 수동으로 스위치를 OFF 시켜야 하는 경우가 있는데요.
이를 Airflow 옵션 설정을 통해서 방지할 수 있습니다.
방법은 다음과 같습니다. [2]

1. Composer 생성 후 이동 > AIRFLOW CONFIGURATION OVERRIDES 탭으로 이동하여 EDIT 클릭.

 

2. dags_are_paused_at_creation 옵션 설정.[3][4] > SAVE

3. DAG 등록 이후 스위치 확인.

오늘은 DAG 자동실행 방지 설정 방법을 알아봤습니다.
다음주에도 유익한 시간으로 찾아오겠습니다!

 

See you next time!

 

 

참고문헌 : 
[1] https://cloud.google.com/composer/docs/concepts/overview
[2] https://cloud.google.com/composer/docs/overriding-airflow-configurations#existing-env
[3] https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#dags-are-paused-at-creation
[4] https://cloud.google.com/composer/docs/migrate-environments-airflow-2#prevent-concurrent-runs