airflow18 Airflow Web을 통한 Dag 핸들링 베하~~ 안녕하세요!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Web에서 Dag를 조작해볼 시간입니다!! 아마 가장 실무에서 많이 다룰 부분이기도 하니 함께 살펴보시죠~ 지난번에 포스팅한 대로 Airflow는 버전별로 UI가 다르기때문에 저는 2.6.2 버전을 사용함을 알려드립니다!! 혹시 버전별 UI 차이가 궁금하시다면 아래 포스팅을 참고해주세요~ Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 btcd.tistory.com 개요 Task 작업 상태 Task .. 2023. 7. 5. Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 Web UI Airflow Web UI 기능 1. Airflow 버전별 Web UI 함께 Airflow를 공부하면서 Airflow Web에는 몇번 들어가서 보셨을겁니다!! 혹시 실습하면서 모든 Airflow를 같은 버전만 설치하시진 않으셨나요? 만약 그렇다면 아래 docs를 참고하셔서 평소와는 다른 버전의 Airflow를 설치해보세요!! Supported versions — Airflow Documentation airflow.apache.org 설치해서 Web에 들어가보시면 뭔가 U.. 2023. 6. 22. Redis를 활용한 Celery Executor 설정 베하~!! 오랜만이네요!! 인사통의 BTC_김회장, 최종무입니다! 오늘 함께할 주제는 Celery Executor입니다!! Airflow의 Executor에 대해 잘 모르신다면 예전 포스팅을 함께 달아드리니 참고해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 이제 준비가 되었다면 오늘은 Celery Executor입니다!! 화이팅해서 가자구요!! 개요 Celery Executor란? Redis를 활용한 Celery Executor 설치 1. Cel.. 2023. 6. 21. [Airflow] Airflow 설치 및 DAG 생성하기 베하 ! 문땅훈과 루피입니다!! 오늘은 Airflow 실습을 해보겠습니다. 설치 및 DAG 생성까지 해보도록 하겠습니다. 개요 Airflow pip로 실행 Airflow Docker image 생성 후 실행 Airflow 실행 및 접속을 위해서 총 2가지 방법으로 생성해보겠습니다. 😊 1. pip 로 실행하기 1. Ubuntu & pip3 업데이트 sudo apt update && sudo apt upgrade sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get updat e && sudo apt-get install python3-pip 2. Airflow Install # 관리에 용이하.. 2023. 6. 7. [Airflow] MetaDB와 Executor 변경 실습 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 지난 시간에 이어 오늘은 Airflow MetaDB와 Executor 변경 실습을 진행하겠습니다!! 혹시 이전 Executor에 대해 포스팅은 보지 않으신분들은 이해가 어려울 수 있으니 아래 포스팅을 먼저 확인해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 준비가 다 되셨다면 열정을 가지고 힘내서 가보시죠!! 개요 Airflow MetaDB란? Airflow Executor 변경 실습 .. 2023. 5. 31. [Airflow] Airflow Xcom과 Trigger 베하 ~! 문땅훈과 루피입니다! 오늘은 Airflow Xcom과 Trigger에 대해서 배워보도록 하겠습니다😊 Xcom 💡 Xcom이란? : cross communication의 약자로 airflow task간 데이터를 주고 받을 때 사용합니다. Xcom은 Task Instance간 데이터를 공유하지 않기 때문에 Xcom을 사용해서 데이터를 주고 받아야 합니다. Xcom은 DAG Run 내에서만 존재하고 다른 DAG run에서는 공유하지 않습니다. PythonOperator를 사용하면 return 값은 자동적으로 Xcom 변수로 등록됩니다. Xcom 사용법 먼저 사용법을 배우기 전에 ! Xcom을 사용하기 위해서는 DAGrun에 대해서 알아야 합니다! DAGRuns Task 인스턴스들을 DAG에 정의된 .. 2023. 5. 26. Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow Executor의 종류 1. Airflow Executor란? Airflow Executor는 airflow 작업 인스턴스가 실행되는 매커니즘으로, 특정 작업들을 어떤 방식으로 수행할지 결정하는 작업 분배 기능 매커니즘이라 할 수 있습니다! 작업 분배 기능 매커니즘이라고 하면 scheduler와 혼동하기 쉬울 수 있는데요! Scheduler는 "언제" 작업을 실행할지를 결정하고, Executor는 "어떻게" 그 작업을 실행할지를 결정하는 역할을 합니다. 둘은 서로 다른 .. 2023. 5. 23. Airflow Operator와 Task 베하 ~! 안녕하세요 문땅훈과 루피입니다! 😆 저번 시간에는 중요한 부분만 골라서 Airflow 구성요소와 동작방식에 대해 설명해드렸는데요~ 이제 본격적으로 Airflow에 대해 알아보도록 합시다 !! 이번에는 DAG의 개념과 동시에 DAG를 생성하기 위해 알아야 할 태스크(Task)와 오퍼레이터(Operator)에 대해 다뤄보겠습니다. 참고로, 지난 시간에 소개해드렸던 내용 링크 남겨놓을테니 구성요소 보고 오시면 더 이해하기 쉬우실거에요 ~! Airflow 란? 안녕하세요 ! 문땅훈과 루피입니다!😊 주말 잘 보내셨나요!? Airflow 와 함께 즐거운 한 주 시작 ~! 해볼까요?😉 개요 Airflow 란? Airflow 의 동작방식 Airflow의 구성요소 1. Airflow란? : 유연한 파이썬 fr.. 2023. 5. 19. 이전 1 2 3 다음
