본문 바로가기

Database83

Snowflake VS Databricks 베하~~ 수 지 타 산 입니다 오늘은 예고했던대로 스노우플레이크와 데이터브릭스에 대해 공부할게요 팔로팔로팔로미 Snowflake ? 멀티 클라우드를 지향하지만 각각의 데이터들은 CSP에 종속되는 현상이 있습니다. 또한, 여러 클라우드 회사의 다양한 리전에서 쌓인 데이터들은 언어도 형태도 다르기에 일치하지 않는 것을 '샤일로 현상' 이라고 하는데요, 이러한 현상을 극복하는 데이터 플랫폼이 스노우플레이크 입니다 또한, 우리는 데이터 관련 작업을 위해 하나의 데이터를 여러 컴퓨터에서 사용하는데 이러한 경우에는 쿼리량이 급증하면 속도가 느려지는 문제가 발생합니다. 하지만 스노우플레이크는 해당 데이터를 가상의 컴퓨터에 올려 사용하므로 병목현상 없이 처리할 수 있습니다. 데이터 자체를 함께 공유하여 사용한다는 의미.. 2023. 6. 21.
[데이터 레이크하우스] Data Lakehouse 베하~ 수 지 타 산 입니다 오늘은 특별히 AWS가 아닌 다른 내용으로 찾아왔어요 요즘 가장 핫하지만 접하기 어려운 데이터 브릭스와 스노우플레이크에 대해 공부하기 전에 데이터레이크하우스에 대해 살펴볼게요 팔로팔로팔로미 먼저 데이터레이크와 데이터웨어하우스에 대해 알아볼까요 ~ ? What is ? 1초에 수십억개 혹은 그 이상의 데이터가 발생하는 요즘, 이 데이터를 처리하는 방법 중에 데이터레이크와 데이터웨어하우스 라는 개념이 있습니다. 간단하게 데이터레이크는 특정한 규칙이나 목적 없이 데이터를 저장해두는 방식을 의미하고, 데이터웨어하우스는 데이터를 목적에 맞게 분류하고 정형화된 데이터 형태로 보관하는 방법을 의미합니다. 데이터 웨어하우스는 여러 곳에 흩어진 데이터를 목적에 맞게 찾고 모아서 하나로 통합하.. 2023. 6. 19.
Composer란 베하 ! 😊 문땅훈과 루피입니다 !! 오늘은 'Cloud Composer'에 대해 알아보도록 하겠습니다. Cloud Composer란? Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 워크플로를 만들고 배포하기 위한 완전 관리형 서비스 Airflow 버전 1,2 모두 지원 (환경 세팅할 때 특정 Airflow 버전 선택 가능, 환경 업그레이드 가능) Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하여 사용자가 설치 또는 관리 오버헤드 없이 운영 가능 GKE에 기반을 둔 독립 실행형 Airflow 배포 Airflow에 기본 제공되는 커넥터를 사용하여 다른 Google Cloud 서비스와 함께 작동 Cloud Composer 환경 Composer의 구성은 크.. 2023. 6. 8.
[Airflow] Airflow 설치 및 DAG 생성하기 베하 ! 문땅훈과 루피입니다!! 오늘은 Airflow 실습을 해보겠습니다. 설치 및 DAG 생성까지 해보도록 하겠습니다. 개요 Airflow pip로 실행 Airflow Docker image 생성 후 실행 Airflow 실행 및 접속을 위해서 총 2가지 방법으로 생성해보겠습니다. 😊 1. pip 로 실행하기 1. Ubuntu & pip3 업데이트 sudo apt update && sudo apt upgrade sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get updat e && sudo apt-get install python3-pip 2. Airflow Install # 관리에 용이하.. 2023. 6. 7.
[Airflow] MetaDB와 Executor 변경 실습 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 지난 시간에 이어 오늘은 Airflow MetaDB와 Executor 변경 실습을 진행하겠습니다!! 혹시 이전 Executor에 대해 포스팅은 보지 않으신분들은 이해가 어려울 수 있으니 아래 포스팅을 먼저 확인해주세요~ Airflow Executor 베하~~ 안녕하십니까!! 인사통의 BTC_김회장, 최총무입니다. 이번 포스팅에서는 Airflow의 Executor에 대해서 설명드리겠습니다!! 새로운 주제인 만큼 열정을 불태워보시죠~ 개요 Airflow Executor란? Airflow btcd.tistory.com 준비가 다 되셨다면 열정을 가지고 힘내서 가보시죠!! 개요 Airflow MetaDB란? Airflow Executor 변경 실습 .. 2023. 5. 31.
Windows 환경에서 Mysql8 root 패스워드 찾는법 베하! 여러분 안녕하세요! '일단고' 팀 입니다! 오늘은 windows 환경에서 DB 관련 테스트를 하기위해 mysql을 설치하고 사용하는 분이 많으실 겁니다. 하지만 가끔 mysql에 로그인할 때 머릿속에서 패스워드가 기억나지 않는 곤란한 경우가 생기실 겁니다. 그럴 때 대처하는 방법을 오늘 말씀드릴려고 합니다! Windows 11환경에서 mysql 8.0 버전을 사용하고 있는 점 참고해주세요! DB의 Root 계정 PW 찾기 1. mysql 프로그램 중지 windows키 + R 을 함께 눌러 실행 프롬프트 창을 열어주세요. services.msc를 입력하고 확인을 눌러주세요 mysql 80을 찾은 후 중시 시킵니다. 2. cmd를 관리자 권한으로 실행 다시 한번 windows키 + R을 눌러서 cmd.. 2023. 5. 31.
Apache Superset 사용해보기 안녕하세요 BTC 1-tier팀의 one입니다! 지난 포스팅에서 Apache Superset에 대한 설명과 설치 방법까지 알아봤는데요~ Apache Superset & 설치 (tistory.com) Apache Superset & 설치 안녕하세요 !! 1Tier팀의 One입니다 😉 여러분은 Apache Superset에 대해 아시나요? 저는 처음 접하기 전까진 굉장히 생소했는데요 Superset은 데이터 소스에서 쿼리를 실행하고, 결과를 시각적으로 표현 btcd.tistory.com 오늘은 Superset을 어떻게 사용하면 될 지 같이 알아봅시다! Superset에서 차트를 그리기 위해선 3가지 절차가 있습니다. 1. 데이터 베이스 연동 2. 데이터 셋 생성 3. 대시보드 생성 첫번째 데이터 베이스 연동.. 2023. 5. 30.
[Airflow] Airflow Xcom과 Trigger 베하 ~! 문땅훈과 루피입니다! 오늘은 Airflow Xcom과 Trigger에 대해서 배워보도록 하겠습니다😊 Xcom 💡 Xcom이란? : cross communication의 약자로 airflow task간 데이터를 주고 받을 때 사용합니다. Xcom은 Task Instance간 데이터를 공유하지 않기 때문에 Xcom을 사용해서 데이터를 주고 받아야 합니다. Xcom은 DAG Run 내에서만 존재하고 다른 DAG run에서는 공유하지 않습니다. PythonOperator를 사용하면 return 값은 자동적으로 Xcom 변수로 등록됩니다. Xcom 사용법 먼저 사용법을 배우기 전에 ! Xcom을 사용하기 위해서는 DAGrun에 대해서 알아야 합니다! DAGRuns Task 인스턴스들을 DAG에 정의된 .. 2023. 5. 26.

티스토리툴바