AWS MWAA 스펙 변경

카테고리 없음

BTC_MAN 2023. 8. 1. 17:38

베하~

안녕하세요 3대 5000의 man, xoxo 입니다.

이번 시간에는 AWS MWAA의 스펙과 업그레이드 방법에 대해 알아보도록 하겠습니다.

Apache Airflow란?

Apache Airflow는 워크플로라고 하는 프로세스 및 작업 순서를 프로그래밍 방식으로 작성, 예약 및 모니터링하는 데 사용되는 오픈 소스 도구입니다.

MWAA는 Apache Airflow 에 대한 관리형 오케스트레이션 서비스로 클라우드에서 데이터 파이프라인을 대규모로 설정하고 운영할 수 있는 AWS 서비스입니다.

MWAA의 기본적인 환경에 대한 클래스 정보입니다. (MWAA v2기준)

small, medium, large 3개의 클래스를 가지고 있으며 각각의 성능은 아래와 같습니다

아래와 같이 MWAA에서 동작하는 worker의 수는 1~25 까지 설정이 가능하며 AWS Service Quota 증가 신청을 통해 더 많은 수의 worker까지 사용할 수 있습니다.

Secheduler의 수는 2~5까지 설정이 가능하며 worker와 동일하게 AWS Service Quota 증가 신청을 통해 더 많은 수의 Secheduler도 사용할 수 있습니다.

아래와 같이 최대 worker 수 및 Secheduler 수를 변경하여 스펙을 업그레이드 할 수 있습니다.

위의 설정 중 Minimum worker count 설정을 통해 미리 worker 수를 많이 생성해 둔다면 사용량이 증가하더라도 프로비저닝 시간을 줄여 더 좋은 성능을 확인할 수 있습니다.

이상 MWAA 설정을 통해 적절한 수의 worker 및 secheduler를 사용하시면 좋을 것 같습니다~