mwaa1 [AWS] MWAA(Managed Workflows for Apache Airflow) 베하~! 할배즈....입니다. 오늘은 많은 데이터 엔지니어와 데이터 사이언티스트가 활용하고 있는 데이터 파이프라인 자동화 도구, Apache Airflow에 대해 이야기하려고 합니다. 그 중에서도 AWS에서 제공하는 Managed Service 형태인 Amazon Managed Workflows for Apache Airflow (MWAA)에 초점을 맞춰보겠습니다. Apache Airflow란? Apache Airflow는 데이터 파이프라인을 구성하고, 스케쥴링하고, 모니터링하는 데 사용되는 오픈소스 도구입니다. Airflow를 사용하면 복잡한 데이터 처리 작업을 쉽게 시각화하고, 이해하고, 유지 관리할 수 있습니다. Python으로 작성된 코드를 기반으로 데이터 파이프라인(DAG, Directed Ac.. 2023. 7. 21. 이전 1 다음