문땅훈과 루피18 [Airflow] Airflow Xcom과 Trigger 베하 ~! 문땅훈과 루피입니다! 오늘은 Airflow Xcom과 Trigger에 대해서 배워보도록 하겠습니다😊 Xcom 💡 Xcom이란? : cross communication의 약자로 airflow task간 데이터를 주고 받을 때 사용합니다. Xcom은 Task Instance간 데이터를 공유하지 않기 때문에 Xcom을 사용해서 데이터를 주고 받아야 합니다. Xcom은 DAG Run 내에서만 존재하고 다른 DAG run에서는 공유하지 않습니다. PythonOperator를 사용하면 return 값은 자동적으로 Xcom 변수로 등록됩니다. Xcom 사용법 먼저 사용법을 배우기 전에 ! Xcom을 사용하기 위해서는 DAGrun에 대해서 알아야 합니다! DAGRuns Task 인스턴스들을 DAG에 정의된 .. 2023. 5. 26. Airflow 란? 안녕하세요 ! 문땅훈과 루피입니다!😊 주말 잘 보내셨나요!? Airflow 와 함께 즐거운 한 주 시작 ~! 해볼까요?😉 개요 Airflow 란? Airflow 의 동작방식 Airflow의 구성요소 1. Airflow란? : 유연한 파이썬 framework 를 사용해 쉽게 데이터 pipeline을 구축할 수 있게 해 주며, 최신 기술 환경에서 접하게 되는 서로 다른 기술들을 연결할 수 있는 다양한 빌딩 블록을 제공하는 오픈 소스 플랫폼 입니다. Airflow는 에어비앤비에서 만들었다는 사실 ! 알고 계셨나요? Airflow는 쉽게 말해, Python 코드를 통해서 워크 플로우를 작성하고 스케줄링, 모니터링 하는 플랫폼 입니다. Airflow는 반복적인 작업을 자동화 하기 위해서 사용하며, DAG를 통해서.. 2023. 5. 15. 이전 1 2 3 다음
