인사통27 GCP 환경에서의 프로젝트간 Data Migration 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께할 내용은 GCP환경에서 다른프로젝트로 Data를 Migration 해볼겁니다!! 쿼리를 통해 간단히 할 수 있으니 겁먹지 말고 진행하시죠~ 덮어씌워지는 목적지에 데이터가 있는경우 백업은 필수입니다!! 진정한 엔지니어는 최악의 상황에 대비해야 하는법... 개요 Bigquery 데이터 프로젝트간 Data Migration DB 데이터 프로젝트간 Data Migration 1. Bigquery 데이터 프로젝트간 Data Migration 클라우드를 사용하게 되면 단일 프로젝트를 사용하는 경우도 있지만 보통 개발과 운영환경으로 프로젝트를 분리하여 사용하는 경우가 대부분입니다! 이러한 경우 개발환경에서 성공적으로 테스트가 된 경우 운영환경.. 2023. 8. 1. Class를 활용한 Custom Operator 생성 베하!! 반갑습니다~ 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Dag를 생성할때 사용할 Operator를 Custom으로 생성해보겠습니다! Operator에 대한 기초적인 설명은 앞서 문땅훈과 루피팀이 작성해주신 포스팅을 참고해주세요~ Airflow Operator와 Task 베하 ~! 안녕하세요 문땅훈과 루피입니다! 😆 저번 시간에는 중요한 부분만 골라서 Airflow 구성요소와 동작방식에 대해 설명해드렸는데요~ 이제 본격적으로 Airflow에 대해 알아보도록 합시다 !! btcd.tistory.com 어느정도 구조 파악하셨다면 함께 이번 포스팅 시작해볼까요? 개요 Airflow Operator의 종류 Class를 활용한 Custom Operator 생성 1. Airflow Ope.. 2023. 7. 13. Airflow Web을 통한 Dag 핸들링 베하~~ 안녕하세요!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Web에서 Dag를 조작해볼 시간입니다!! 아마 가장 실무에서 많이 다룰 부분이기도 하니 함께 살펴보시죠~ 지난번에 포스팅한 대로 Airflow는 버전별로 UI가 다르기때문에 저는 2.6.2 버전을 사용함을 알려드립니다!! 혹시 버전별 UI 차이가 궁금하시다면 아래 포스팅을 참고해주세요~ Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 btcd.tistory.com 개요 Task 작업 상태 Task .. 2023. 7. 5. Google Analytics란? 베하~ ! 안녕하세요 여러분~ 인사통 BTC_김회장 BTC_최총무 입니다. “세상은 지금 정보기술(IT, Information Technology) 시대에서 데이터기술(DT, Data Technology) 시대로 가고 있다” – 알리바바그룹 마윈 회장, 2015년 – 오늘날 데이터 분석이란 단순히 데이터를 결과로만 바라보던 과거에서 벗어나 소비자의 행동 패턴과 결합해 고객을 이해하는 도구로 활용되고 있고 ,이를 사용하기위해 데이터를 다루기 위한 데이터베이스 관리 시스템(DBMS) 에 대해 저번에 다같이 알아보았죠?! 혹시 까먹으셨다면 여기로! Go Go! https://btcd.tistory.com/1156 Google Cloud SQL 특징과 hands-on 베하~ ! 안녕하세요 여러분~ 인사통 BTC.. 2023. 7. 2. Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 Web UI Airflow Web UI 기능 1. Airflow 버전별 Web UI 함께 Airflow를 공부하면서 Airflow Web에는 몇번 들어가서 보셨을겁니다!! 혹시 실습하면서 모든 Airflow를 같은 버전만 설치하시진 않으셨나요? 만약 그렇다면 아래 docs를 참고하셔서 평소와는 다른 버전의 Airflow를 설치해보세요!! Supported versions — Airflow Documentation airflow.apache.org 설치해서 Web에 들어가보시면 뭔가 U.. 2023. 6. 22. Redis를 활용한 Celery Executor 설정 베하~!! 오랜만이네요!! 인사통의 BTC_김회장, 최종무입니다! 오늘 함께할 주제는 Celery Executor입니다!! Airflow의 Executor에 대해 잘 모르신다면 예전 포스팅을 함께 달아드리니 참고해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 이제 준비가 되었다면 오늘은 Celery Executor입니다!! 화이팅해서 가자구요!! 개요 Celery Executor란? Redis를 활용한 Celery Executor 설치 1. Cel.. 2023. 6. 21. Google Cloud SQL 특징과 hands-on 베하~ ! 안녕하세요 여러분~ 인사통 BTC_김회장 BTC_최총무 입니다. 지난 2005년까지만 해도 0.16 ZB 규모로 생산되던 데이터 양이 2020년에는 64.2 ZB 규모일 정도로 증가했습니다. AI가 IT산업에 chat GPT로 엄청난 파란을 일으킨만큼 이제는 AI가 세상을 바꾸는 시대가 되었다고 해도 과언이 아닌데요. 이 AI도 거대한 데이터를 기반으로 우리가 얻고자 하는 답을 빠르게 알려주는 것처럼 데이터는 상품의 생산성과 품질 개선뿐만 아니라 근무 문화까지도 데이터 기반으로 디지털 전환을 꾀하는 시대가 왔습니다! 오늘날 데이터 분석이란 단순히 데이터를 결과로만 바라보던 과거에서 벗어나 소비자의 행동 패턴과 결합해 고객을 이해하는 도구로 활용되고 있는데요. 하지만! 이처럼 중요한 데이터가 저.. 2023. 6. 9. [Airflow] MetaDB와 Executor 변경 실습 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 지난 시간에 이어 오늘은 Airflow MetaDB와 Executor 변경 실습을 진행하겠습니다!! 혹시 이전 Executor에 대해 포스팅은 보지 않으신분들은 이해가 어려울 수 있으니 아래 포스팅을 먼저 확인해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 준비가 다 되셨다면 열정을 가지고 힘내서 가보시죠!! 개요 Airflow MetaDB란? Airflow Executor 변경 실습 .. 2023. 5. 31. 이전 1 2 3 4 다음
