airflow18 Airflow 란? 안녕하세요 ! 문땅훈과 루피입니다!😊 주말 잘 보내셨나요!? Airflow 와 함께 즐거운 한 주 시작 ~! 해볼까요?😉 개요 Airflow 란? Airflow 의 동작방식 Airflow의 구성요소 1. Airflow란? : 유연한 파이썬 framework 를 사용해 쉽게 데이터 pipeline을 구축할 수 있게 해 주며, 최신 기술 환경에서 접하게 되는 서로 다른 기술들을 연결할 수 있는 다양한 빌딩 블록을 제공하는 오픈 소스 플랫폼 입니다. Airflow는 에어비앤비에서 만들었다는 사실 ! 알고 계셨나요? Airflow는 쉽게 말해, Python 코드를 통해서 워크 플로우를 작성하고 스케줄링, 모니터링 하는 플랫폼 입니다. Airflow는 반복적인 작업을 자동화 하기 위해서 사용하며, DAG를 통해서.. 2023. 5. 15. Cloud Composer 안녕하세요~ BTC Hallo 팀입니다. 오늘은 GCP 빅데이터 구성에 큰 비중을 차지하고 있는 Composer에 대해 살펴보겠습니다. Cloud Composer는 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스입니다. Cloud Composer는 인기 있는 Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 Python 프로그래밍 언어로 작동합니다. Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하면 설치 또는 관리 오버헤드 없이 Airflow의 이점을 얻을 수 있습니다. Cloud Composer는 Airflow 환경을 신속하게 만들고 강력한 Airflow 웹 인터페이스 및 .. 2022. 9. 22. 이전 1 2 3 다음
