Airflow 버전별 Web UI 및 기능 활용

베하!!

 

모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!!

 

오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!!

 

차근차근 같이 진행해보자구요!!

 

개요

• Airflow 버전별 Web UI
• Airflow Web UI 기능

---

1. Airflow 버전별 Web UI

함께 Airflow를 공부하면서 Airflow Web에는 몇번 들어가서 보셨을겁니다!!

혹시 실습하면서 모든 Airflow를 같은 버전만 설치하시진 않으셨나요?

 

만약 그렇다면 아래 docs를 참고하셔서 평소와는 다른 버전의 Airflow를 설치해보세요!!

Supported versions — Airflow Documentation

 

설치해서 Web에 들어가보시면 뭔가 UI가 변한것을 확인하실 수 있을거에요!!

특히나 Airflow 2.0 업그레이드가 되면서 크게 UI와 기능들에 변화가 있었습니다.

 

제가 설치한 버전들을 보며 같이 확인해보실까요??

 

해당 모습은 제가 설치한 Airflow 1.10.15 버전입니다.

위 화면은 가장 많이 보게될 DAGs 화면이며

이 화면도 많이 확인하실 dag 내부 모습입니다.

확실히 ui가 오래되었다는게 느껴지는 모습입니다.

이 모습은 Airflow 2.2.2 버전으로 설치한 UI입니다 확실히 더 깔끔해진 모습과 Next Run과 같이 새로운 지표가 추가된 모습입니다.

하지만 가장 큰 차이점은 dag 내부에서 확인하실 수 있는데요!

훨씬 깔끔해보이지 않나요? 하지만 예쁘기만한게 아니랍니다.

 

airflow 2.0 ui의 가장 큰 장점은 바로 dag내부에서 Auto-refresh 기능이 제공된다는겁니다!!

dag 진행과정을 자동으로 새로고침 해주면서 진행상황을 실시간으로 업데이트 가능합니다.

그리고 최신버전인 2.6.2 버전에서는 외부 DAGs에서도 Auto-refresh기능이 추가되었습니다!!

데이터 엔지니어로써 최신버전을 사용하고싶은 가장 큰 이유이기도 합니다!!

내부 dags 화면 역시 한 화면에서 정보 및 처리 기능들을 제공하도록 간편화 되었습니다!!

 

하지만 무조건 버전이 높다고 좋은것은 아닙니다.

버전별로 지원하는 operator나 기능들에 차이가 있기때문에 각 상황에 맞는 버전을 잘 선택해주어야겠죠?

---

2. Airflow 버전별 UI 기능

이제 이러한 Web에서 어떤 기능들을 수행할 수 있는지 확인해볼까요??

저는 2.6.2 버전을 기준으로 설명드리겠습니다!!

 

첫번째로 Web 환경에서 Airflow의 각종 설정을 바로 할 수 있습니다.

여기에 적혀있는 모든 설정은 안쓰는게 없이 모두 중요한 기능들입니다.

 

간단히 설명드리면

1. Variables : Airflow 작업에 사용되는 전역 키-값 쌍들을 저장하고 관리합니다.

2. Connections : 외부 시스템 또는 서비스와 연결정보를 저장하고 관리합니다.

3. Configurations : Airflow의 작업 스케줄링 방식, 병렬처리 옵션, 로깅 설정 등 자체 설정을 확인할 수 있습니다.

4. Plugins : 사용자가 Airflow에 추가로 설치한 플러그인들을 관리 및 확인할 수 있습니다.

5. Providers : Airflow에서 사용할 수 있는 다양한 서비스 제공자(CSP 및 DB 등)들을 확인할 수 있습니다.

6. Pools : 작업의 수를 제한하거나 관리할 수 있는 pool을 설정 및 관리합니다.

7. Xcoms : Airflow 작업간 데이터를 공유하기 위한 크로스 커뮤니케이션을 확인 및 관리할 수 있습니다.

 

어떤가요? 많은 설정을 웹을 통해 할 수 있으니 편리하죠?

이외에도 실행되고 있는 task의 로그를 보여주거나 동작 자체를 조정할 수 있는 기능 등 여러 편리한 기능들을 Web에서 진행 할 수 있습니다. 이후 기회가 된다면 dag의 내부 task들의 동작을 조정하는 기능들에 대해서도 함께 배워 보시죠!!

---

왜 버전별로 Web UI를 신경써서 바꾸는지 이해가 가시죠?

Airflow를 사용하는 데이터 엔지니어라면 서버보다 Web 환경을 보고있는 시간이 더 많을 정도니까요!!

 

그러면 다음주는 더욱 유익한 정보를 가지고 찾아오도록 하겠습니다!!

 

고생하셨어요!! 베빠!!