본문 바로가기

Database83

Class를 활용한 Custom Operator 생성 베하!! 반갑습니다~ 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Dag를 생성할때 사용할 Operator를 Custom으로 생성해보겠습니다! Operator에 대한 기초적인 설명은 앞서 문땅훈과 루피팀이 작성해주신 포스팅을 참고해주세요~ Airflow Operator와 Task 베하 ~! 안녕하세요 문땅훈과 루피입니다! 😆 저번 시간에는 중요한 부분만 골라서 Airflow 구성요소와 동작방식에 대해 설명해드렸는데요~ 이제 본격적으로 Airflow에 대해 알아보도록 합시다 !! btcd.tistory.com 어느정도 구조 파악하셨다면 함께 이번 포스팅 시작해볼까요? 개요 Airflow Operator의 종류 Class를 활용한 Custom Operator 생성 1. Airflow Ope.. 2023. 7. 13.
빅쿼리 보안 베하 ! 문땅훈과 루피입니다😊 오늘은 빅쿼리 보안에 대해 알아보겠습니다. 민감한 정보가 있는 데이터 보안은 정말 중요합니다. 즉, 모두에게 보여지면 당연히 안되는 것이고, 특정 사용자, 부서마다 부여된 권한에 따라 데이터들이 보여야 합니다. 여기서 민감한 컬럼 정보들에 대해 세분화된 권한을 부여해주는 BigQuery Column 보안인 ‘Policy Tags’가 있습니다. Policy Tags 빅쿼리 데이터베이스 내에서 데이터 에 대한 보안 및 액세스 제어를 설정하는 데 사용되는 도구 Policy Tag를 사용하면 데이터를 그룹화하고 정책을 적용하여 특정 사용자 또는 그룹에 대한 데이터 액세스 제어 가능 데이터의 구조, 민감도 또는 규정 준수와 같은 특성을 기반으로 데이터에 태그를 할당 사용자, 역할 또.. 2023. 7. 7.
Airflow Web을 통한 Dag 핸들링 베하~~ 안녕하세요!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Web에서 Dag를 조작해볼 시간입니다!! 아마 가장 실무에서 많이 다룰 부분이기도 하니 함께 살펴보시죠~ 지난번에 포스팅한 대로 Airflow는 버전별로 UI가 다르기때문에 저는 2.6.2 버전을 사용함을 알려드립니다!! 혹시 버전별 UI 차이가 궁금하시다면 아래 포스팅을 참고해주세요~ Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 btcd.tistory.com 개요 Task 작업 상태 Task .. 2023. 7. 5.
일괄 처리(Batch processing) & 스트림 처리(Stream processing) 베하~! 탑신병자 듀오 팀 나르 입니다! 이번 포스팅에서는 일괄 처리와 스트림 처리에 대해서 알아보도록 하겠습니다 배치 처리(batch processing) 일괄 처리(batch processing)이란 컴퓨터 프로그램 흐름에 따라 순차적으로 자료를 처리하는 방식을 뜻한다 초기의 일괄처리 방식은 사용자와 상호작용하는 것이 불가능했지만, 운영 체제가 발전함에 따라 프로그램 입출력 을 통해 상호작용하는 것이 가능해졌다.(=워크로드 자동화(WLA) 및 작업 스케줄링이라고도 한다. 일괄 처리의 중요 포인트 개별적으로 어떤 요청이 있을 때마다 실시간으로 통신하는 것이 아닌 한꺼번에 일괄적으로 대량 건을 처리하는 것입니다. 특히 배치는 보통 정해진 특정한 시간에 실행됩니다. 특징 1. 대량건의 데이터를 처리한다. .. 2023. 6. 23.
Airflow 버전별 Web UI 및 기능 활용 베하!! 모두 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께 배워볼 주제는 Airflow 버전별 Web UI 및 기능 활용에 대한 부분입니다!! 차근차근 같이 진행해보자구요!! 개요 Airflow 버전별 Web UI Airflow Web UI 기능 1. Airflow 버전별 Web UI 함께 Airflow를 공부하면서 Airflow Web에는 몇번 들어가서 보셨을겁니다!! 혹시 실습하면서 모든 Airflow를 같은 버전만 설치하시진 않으셨나요? 만약 그렇다면 아래 docs를 참고하셔서 평소와는 다른 버전의 Airflow를 설치해보세요!! Supported versions — Airflow Documentation airflow.apache.org 설치해서 Web에 들어가보시면 뭔가 U.. 2023. 6. 22.
빅쿼리 개념 및 특징 베하 ! 문땅훈과 루피입니다 !! 오늘은 'BigQuery'에 대해 알아보도록 하겠습니다. BigQuery란? 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 Fully managed Enterprise Data Warehouse 오늘 날 많은 조직이 구글 빅쿼리 같은 클라우드 기반 데이터 웨어하우스로 이전하는 주된 이유로 크게 5가지로 정리할 수 있습니다. (1) 고급 분석에 대한 비즈니스 요구와 더불어 비용 관리, 민첩성, 자체 서비스의 접근 인프라를 관리할 필요없이 기업은 익숙한 SQL을 사용해 의미있는 통찰력을 찾는 데이터 분석에 집중 가능 (2) 연산과 스토리지를 분리하는 서버리스 컴퓨팅 아키텍처 덕분에 아키텍처의 다양한 계층을 .. 2023. 6. 22.
SQL과 기초 문법 베하 ! 문땅훈과 루피입니다😊 이번엔 SQL과 기초 문법에 대해서 자세히 알아보려고 합니다! 그럼 시작해볼까요 개요 SQL 이란? SQL의 특성 DDL, DML, DCL SQL 기초 문법 SQL 이란? SQL이란 ? Structured Query Language 의 줄임말로, 관계형 데이터 베이스 시스템에서 자료를 관리 및 처리하기 위해서 설계된 언어입니다. DBMS 데이터를 구축, 관리하고 활용하기 위해서 사용되고 있는 언어입니다. SQL은 데이터베이스 용 프로그래밍 언어라고도 합니다. SQL 문법은 크게 DDL, DML, DCL 3가지로 나뉘며 아래에서 자세히 다뤄보겠습니다. 관계형 데이터베이스란? 관계형 데이터베이스란 RDBMS(Relational DBMS)라고도 부르며 흔히 DBMS라고 부릅니다... 2023. 6. 22.
Redis를 활용한 Celery Executor 설정 베하~!! 오랜만이네요!! 인사통의 BTC_김회장, 최종무입니다! 오늘 함께할 주제는 Celery Executor입니다!! Airflow의 Executor에 대해 잘 모르신다면 예전 포스팅을 함께 달아드리니 참고해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 이제 준비가 되었다면 오늘은 Celery Executor입니다!! 화이팅해서 가자구요!! 개요 Celery Executor란? Redis를 활용한 Celery Executor 설치 1. Cel.. 2023. 6. 21.

티스토리툴바