본문 바로가기

CSP (Cloud Service Provider)/GCP191

AWS -> GCP Workload Identity Federation 구성 베하 ! 문땅훈과 루피입니다. 오늘은 GCP와 AWS WIF 구성하는 방법에 대해 자세히 알아보겠습니다. 개요 WIF 란? AWS 설정 GCP 설정 1. WIF란? WIF란 ? Workload Identity Federation 라고 하며, 외부 ID로 GCP 단기 액세스 토큰을 발급받고 서비스 계정을 가장하여 GCP 리소스에 접속하는 개념입니다. WIF 풀에서 인증된 공급자만 단기 액세스 토큰이 살아있는 시간에 접속이 가능합니다. 이러한 방식을 사용하면, 해당 토큰이 탈취되어도 서비스 계정의 key file 보다 보안성이 더 높습니다. GCP의 WIF 풀 공급 업체는 AWS, OICD(github action, Okta, Kubernetes,), Azure 등을 지원합니다. 기존의 리소스 접근 방식은 .. 2023. 7. 25.
Big Query 요금제 베하 ~ 문땅훈과 루피 입니다! 오늘은 GCP 주요 서비스인 빅쿼리 비용에 대해서 알아보겠습니다. BigQuery 의 가격 책정에는 2가지의 구성 요소가 있습니다. 분석 가격 책정 QL 쿼리, 사용자 정의 함수, 스크립트, 테이블을 스캔하는 DML(데이터 조작 언어) 및 DDL(데이터 정의 언어)문을 포함한 쿼리를 처리할 때 발생하는 비용 스토리지 가격 책정 BigQuery에 로드한 데이터를 저장하는 데 드는 비용 또한, BigQuery에서는 쿼리를 실행하는데 사용할 수 있는 두 가지 가격 책정 모델을 제공하고 있습니다. 주문형 가격 책정 각 쿼리에서 처리된 바이트 수에 대한 요금이 부과됩니다. 매월 처리되는 쿼리 데이터 중 처음 1TB는 무료임 정액제 가상 CPU인 슬롯을 구매합니다. 슬롯을 구매하면 .. 2023. 7. 21.
GCP의 Image Service : Machine Image & Snapshot 베하! 즐거운 금요일입니다. 무더위와 폭우 대비 잘 하시고, 오늘의 포스팅 시작하겠습니다. 오늘은 GCP의 Image Service에 대해 알아보겠습니다. 첫째로, Machine Image에 대해 알아볼까요? Machine Image는 VM Instance의 여러 Disk에 있는 모든 구성, Metadata, 권한, Data를 저장하는 Compute Engine 리소스입니다. 이러한 Machine Image는 VM Instance 수준에서 백업을 지원하는데, 여러 디스크를 한 번에 백업하거나 VM Instance를 Clone하는 작업 등에 사용됩니다. Machine Image는 Source Instance에서 다음과 같은 정보를 수집합니다. 우선 VM Instance 구성 정보를 수집하는데, Machin.. 2023. 7. 21.
[GCP] DataSet 베하~! 안녕하세요 BTC 금쪽상담소의 오은영석사와 금쪽이 입니다! 한주동안 잘 지내셨나요? 무더위가 무르익어가는 여름에 건강 유의 하시고 무탈한 한주 마무리 하시길 바랍니다! 이번주 저희가 배울내용은 GCP의 DataSet & DataTable입니다! 즐거운 마음으로 알아보도록 할까요~? BigQuery Dataset 이란? 데이터 세트는 특정 프로젝트에 포함됩니다. 데이터 세트는 테이블과 뷰에 대한 액세스를 구성 및 제어하는 데 사용되는 최상위 컨테이너입니다. 테이블이나 뷰는 반드시 데이터 세트에 속해야 하므로, 개발자는 최소한 한 개 이상의 데이터 세트를 만든 후에 데이터를 BigQuery로 로드해야 합니다. BigQuery Dataset 제한사항 데이터 세트 위치는 생성 당시에만 설정할 수 있으며.. 2023. 7. 21.
[GCP] VPC Connector Hands-on 베하~! 안녕하세요 이번주도 돌아온 BTC 금쪽상담소의 오은영석사와 금쪽이 입니다! 저번 시간에 설명했던 VPC Connetor 기억 나시나요? 복습을 충분히 하셨나요?! 충분한 복습에도 기억이 나지 않는 분들을 위해 아래 링크를 걸어두겠습니다~! ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ [GCP] VPC Connector 베하! 안녕하세요! BTC 금쪽상담소의 오은영석사와 금쪽이 입니다! 지난 한 주, 다들 어떠셨나요! 무더운 여름을 식혀주는 하늘의 단비가 내려 조금의 더위가 식어가고 있나요? 장마철이니 만큼! btcd.tistory.com 이번 시간에는 VPC Connector Hands-on를 진행해보겠습니다!! 1. Subnet 생성 VPC Connector 생성위한 Subnet 생성 서브넷 IP는 /.. 2023. 7. 21.
Composer Airflow 데이터 베이스 접속 후 테이블 조회 및 삭제 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번 시간에는 저번 시간에 이어서 Composer 안의 Airflow 데이터 베이스 안의 테이블을 조회 및 삭제하는 방법에 대해 알아보도록 하겠습니다. 저번 시간에 연결했던 VM 창을 여신 다음 아래의 코드로 순차적으로 진행하시면 됩니다! 순서 composer gke 접속 -> 네임스페이스 확인 -> 해당 네임스페이스 pod 조회 -> pod 접속 -> 테이블 삭제 $ kubectl get ns composer-버전-airflow-버전- #로 이루어진 네임스페이스를 복사 $ kubectl get pod -n airflow-webserver-- #로 이루어진 pod 이름 복사 # 아래의 명령어를 통하여 해당 pod안에 접속하여 python을 실행.. 2023. 7. 17.
[GCP] Composer 안의 Airflow 데이터 베이스 접속하기 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번 시간에는 Composer 안의 Airflow 데이터 베이스 접속에 대해 알아보도록 하겠습니다. Composer 2를 생성한 후 아래의 그림과 같이 airflow 웹페이지를 접속합니다. 홈페이지의 Admin 탭 -> Configurations로 들어가셔서 아래로 스크롤을 하시면 (ctrl +f) sql_alchemy_conn 매개변수가 보입니다. 예를 들어 이 매개변수의 값이 postgresql+psycopg2://root:example-password@127.0.0.1:3306/composer-1-17-0-airflow-2-0-1-400fa094이면 사용자 이름이 root, 비밀번호가 example-password, 데이터베이스 이름이 c.. 2023. 7. 13.
[GCP] VPC Connector 베하! 안녕하세요! BTC 금쪽상담소의 오은영석사와 금쪽이 입니다! 지난 한 주, 다들 어떠셨나요! 무더운 여름을 식혀주는 하늘의 단비가 내려 조금의 더위가 식어가고 있나요? 장마철이니 만큼! 모두 창문이나 우천대비를 꼼꼼이 해서 이번 장마는 별일 없이 무탈히 지나가길 바랍니다! 자 그럼 이번 주는 GCP의 서비스인 VPC Connector를 알아보도록 할께요!! 룰루~~!! VPC Connector란? Cloud Run, App Engine, Cloud Functions와 같은 서버리스 환경에서 Virtual Private Cloud(VPC) 네트워크에 직접 연결할 수 있도록 하는 GCP의 리소스 입니다. 서버리스 VPC 액세스, 즉 VPC Connector를 구성하게 되면 서버리스 환경에서 내부 DN.. 2023. 7. 8.

티스토리툴바