문땅훈과 루피18 minikube 란? 베하 ~ 문땅훈과 루피입니다~! 처서가 지나고 슬 가을이 찾아 오는 것 같습니다. 더위도 물러가니 가을을 맞이하는 마음으로 Minikube 포스팅 시작하겠습니다~!! 개요 minikube란? minikube 설치 1. minikube란? minikube란 macOS와 Linux 및 Window에서 로컬 Kubernetes 클러스터를 빠르게 설정할 수 있는 오픈소스 입니다. 쿠버네티스에 비해 작업이 빠르게 수행되고 용량도 가볍기 때문에 테스트용으로 많이 사용되고 있습니다. 또한, 시스템 관리자와 운영자 등은 쿠버네티스의 구조를 파악하기 위해 사용하며 개발자들은 실제 로컬 개발 환경 구현을 위해 사용하곤 합니다. minikube가 쿠버네티스에 비해서 가볍고 빠르게 수행되는 이유는 마스터 노드의 일부 기능과 .. 2023. 8. 25. Grafana 와 Prometheus 베하~! 문땅훈과 루피입니다. 즐거운 금요일이네요!! 다들 알찬 한 주 보내셨나요~!? 오늘은 그라파나와 프로메테우스에 대해 알아보겠습니다. 개요 Grafana Prometheus 1. Grafana Grafana란? 계열 매트릭 데이터를 시각화 하여 가장 최적화된 대시보드를 제공해주는 오픈소스 분석 플랫폼 대시보드를 통해 인터렉티브한 시각화 기능을 제공, Prometheus, InfluxDB, Elasticsearch등 다양한 데이터 소스와 연동 가능 Grafana는 시계열 메트릭 데이터 수집에 최적화 되있으며, 보통 서버 리소스의 메트릭 정보나 로그 같은 데이터를 시각화할때 많이 사용 Grafana 특징 오픈소스이다. 그래프에서 특성 수치가 넘어가면 알람을 보낼 수 있는 기능을 제공 외부 데이터 소스.. 2023. 8. 18. AWS -> GCP Workload Identity Federation 구성 베하 ! 문땅훈과 루피입니다. 오늘은 GCP와 AWS WIF 구성하는 방법에 대해 자세히 알아보겠습니다. 개요 WIF 란? AWS 설정 GCP 설정 1. WIF란? WIF란 ? Workload Identity Federation 라고 하며, 외부 ID로 GCP 단기 액세스 토큰을 발급받고 서비스 계정을 가장하여 GCP 리소스에 접속하는 개념입니다. WIF 풀에서 인증된 공급자만 단기 액세스 토큰이 살아있는 시간에 접속이 가능합니다. 이러한 방식을 사용하면, 해당 토큰이 탈취되어도 서비스 계정의 key file 보다 보안성이 더 높습니다. GCP의 WIF 풀 공급 업체는 AWS, OICD(github action, Okta, Kubernetes,), Azure 등을 지원합니다. 기존의 리소스 접근 방식은 .. 2023. 7. 25. 빅쿼리 INFORMATION_SCHEMA 베하 ! 문땅훈과 루피입니다😊 오늘은 '빅쿼리 INFORMATION_SCHEMA'에 대해 알아보겠습니다. 빅쿼리의 INFORMATION_SCHEMA란? BigQuery는 구글 클라우드 플랫폼에서 제공하는 서버리스 데이터 웨어하우징 솔루션입니다. INFORMATION_SCHEMA는 빅쿼리에서 제공하는 시스템 카탈로그 시스템으로 데이터베이스, 테이블, 뷰, 함수 등 데이터베이스 메타데이터에 대한 정보를 쿼리할 수 있는 뷰들의 모음입니다. 이 정보는 데이터베이스 관리자나 개발자들에게 데이터베이스 내부 구조와 데이터에 대한 중요한 통찰력을 제공합니다. INFORMATION_SCHEMA의 주요 뷰 빅쿼리의 INFORMATION_SCHEMA에는 여러 가지 뷰들이 있습니다. 주요 뷰들을 간략히 소개해 드리겠습니다. .. 2023. 7. 21. Big Query 요금제 베하 ~ 문땅훈과 루피 입니다! 오늘은 GCP 주요 서비스인 빅쿼리 비용에 대해서 알아보겠습니다. BigQuery 의 가격 책정에는 2가지의 구성 요소가 있습니다. 분석 가격 책정 QL 쿼리, 사용자 정의 함수, 스크립트, 테이블을 스캔하는 DML(데이터 조작 언어) 및 DDL(데이터 정의 언어)문을 포함한 쿼리를 처리할 때 발생하는 비용 스토리지 가격 책정 BigQuery에 로드한 데이터를 저장하는 데 드는 비용 또한, BigQuery에서는 쿼리를 실행하는데 사용할 수 있는 두 가지 가격 책정 모델을 제공하고 있습니다. 주문형 가격 책정 각 쿼리에서 처리된 바이트 수에 대한 요금이 부과됩니다. 매월 처리되는 쿼리 데이터 중 처음 1TB는 무료임 정액제 가상 CPU인 슬롯을 구매합니다. 슬롯을 구매하면 .. 2023. 7. 21. Bigquery ARRAY, STRUCT 구조 베하 ! 문땅훈과 루피 입니다 ! 즐거운 한 주 보내셨나요~? 오늘은 GCP의 하이라이트 빅쿼리에 ARRAY, STRUCT에 대해서 알아보겠습니다. 레츠꼬 ! 개요 BigQuery Array BigQuery Struct UNNEST BigQurey는 SQL 문법을 사용하고 있지만 BigQuery 에서만 사용되는 ARRAY, STRUCT 그리고 UNNEST의 개념이 있습니다. ARRAY 형태의 데이터를 쿼리할 때 어떻게 사용하는지에 대해 알아보고자 합니다! BigQuery ARRAY ARRAY는 키와 값을 가지는 형태로 구성되어 있습니다. 아래 데이터와 같이 address_history 키에 status, address, postcode 라는 3개의 속성을 가지게 됩니다. 즉, 여러개의 값을 가지는 key.. 2023. 7. 7. Composer란 베하 ! 😊 문땅훈과 루피입니다 !! 오늘은 'Cloud Composer'에 대해 알아보도록 하겠습니다. Cloud Composer란? Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 워크플로를 만들고 배포하기 위한 완전 관리형 서비스 Airflow 버전 1,2 모두 지원 (환경 세팅할 때 특정 Airflow 버전 선택 가능, 환경 업그레이드 가능) Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하여 사용자가 설치 또는 관리 오버헤드 없이 운영 가능 GKE에 기반을 둔 독립 실행형 Airflow 배포 Airflow에 기본 제공되는 커넥터를 사용하여 다른 Google Cloud 서비스와 함께 작동 Cloud Composer 환경 Composer의 구성은 크.. 2023. 6. 8. [Airflow] Airflow 설치 및 DAG 생성하기 베하 ! 문땅훈과 루피입니다!! 오늘은 Airflow 실습을 해보겠습니다. 설치 및 DAG 생성까지 해보도록 하겠습니다. 개요 Airflow pip로 실행 Airflow Docker image 생성 후 실행 Airflow 실행 및 접속을 위해서 총 2가지 방법으로 생성해보겠습니다. 😊 1. pip 로 실행하기 1. Ubuntu & pip3 업데이트 sudo apt update && sudo apt upgrade sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get updat e && sudo apt-get install python3-pip 2. Airflow Install # 관리에 용이하.. 2023. 6. 7. 이전 1 2 3 다음
