김회장23 Class를 활용한 Custom Operator 생성 베하!! 반갑습니다~ 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Dag를 생성할때 사용할 Operator를 Custom으로 생성해보겠습니다! Operator에 대한 기초적인 설명은 앞서 문땅훈과 루피팀이 작성해주신 포스팅을 참고해주세요~ Airflow Operator와 Task 베하 ~! 안녕하세요 문땅훈과 루피입니다! 😆 저번 시간에는 중요한 부분만 골라서 Airflow 구성요소와 동작방식에 대해 설명해드렸는데요~ 이제 본격적으로 Airflow에 대해 알아보도록 합시다 !! btcd.tistory.com 어느정도 구조 파악하셨다면 함께 이번 포스팅 시작해볼까요? 개요 Airflow Operator의 종류 Class를 활용한 Custom Operator 생성 1. Airflow Ope.. 2023. 7. 13. Airflow Web을 통한 Dag 핸들링 베하~~ 안녕하세요!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Web에서 Dag를 조작해볼 시간입니다!! 아마 가장 실무에서 많이 다룰 부분이기도 하니 함께 살펴보시죠~ 지난번에 포스팅한 대로 Airflow는 버전별로 UI가 다르기때문에 저는 2.6.2 버전을 사용함을 알려드립니다!! 혹시 버전별 UI 차이가 궁금하시다면 아래 포스팅을 참고해주세요~ Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 btcd.tistory.com 개요 Task 작업 상태 Task .. 2023. 7. 5. Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 Web UI Airflow Web UI 기능 1. Airflow 버전별 Web UI 함께 Airflow를 공부하면서 Airflow Web에는 몇번 들어가서 보셨을겁니다!! 혹시 실습하면서 모든 Airflow를 같은 버전만 설치하시진 않으셨나요? 만약 그렇다면 아래 docs를 참고하셔서 평소와는 다른 버전의 Airflow를 설치해보세요!! Supported versions — Airflow Documentation airflow.apache.org 설치해서 Web에 들어가보시면 뭔가 U.. 2023. 6. 22. Redis를 활용한 Celery Executor 설정 베하~!! 오랜만이네요!! 인사통의 BTC_김회장, 최종무입니다! 오늘 함께할 주제는 Celery Executor입니다!! Airflow의 Executor에 대해 잘 모르신다면 예전 포스팅을 함께 달아드리니 참고해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 이제 준비가 되었다면 오늘은 Celery Executor입니다!! 화이팅해서 가자구요!! 개요 Celery Executor란? Redis를 활용한 Celery Executor 설치 1. Cel.. 2023. 6. 21. [Airflow] MetaDB와 Executor 변경 실습 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 지난 시간에 이어 오늘은 Airflow MetaDB와 Executor 변경 실습을 진행하겠습니다!! 혹시 이전 Executor에 대해 포스팅은 보지 않으신분들은 이해가 어려울 수 있으니 아래 포스팅을 먼저 확인해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 준비가 다 되셨다면 열정을 가지고 힘내서 가보시죠!! 개요 Airflow MetaDB란? Airflow Executor 변경 실습 .. 2023. 5. 31. Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow Executor의 종류 1. Airflow Executor란? Airflow Executor는 airflow 작업 인스턴스가 실행되는 매커니즘으로, 특정 작업들을 어떤 방식으로 수행할지 결정하는 작업 분배 기능 매커니즘이라 할 수 있습니다! 작업 분배 기능 매커니즘이라고 하면 scheduler와 혼동하기 쉬울 수 있는데요! Scheduler는 "언제" 작업을 실행할지를 결정하고, Executor는 "어떻게" 그 작업을 실행할지를 결정하는 역할을 합니다. 둘은 서로 다른 .. 2023. 5. 23. GCP KMS Hands-On 베하~ ! 안녕하세요 인사통의 BTC_김회장,최총무입니다. 저번시간에 GCP KMS(Key Management Service)가 어떤건지 배워봤죠? GCP KMS(Key Management System) (tistory.com) GCP KMS(Key Management System) 베하~! 안녕하세요 인사통의 BTC_김회장,최총무입니다. 미국의 바이든 대통령이 취임후 Zero trust security 즉 그누구도 믿을수 없다는 보안정책을 강조한 만큼 보안은 클라우드 산업에도 중요하게 btcd.tistory.com 그럼 오늘은 이어서 저번에 말씀드렸던 GCP KMS를 Hand-on을 통해서 데이터를 만들고 키를이용해 암호화와 복호화를 해보는 실습 진행해보도록 하겠습니다. 먼저 여러분!~ 실습을 위해 A.. 2023. 5. 21. 이전 1 2 3 다음
