본문 바로가기

GCP158

Composer DAG 자동 실행 방지 설정 방법 안녕하세요 MC에몽입니다. 이번 주는 GCP Composer 서비스의 DAG 자동 실행 방지 설정 하는 방법을 설명하겠습니다. Composer란, 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스입니다. 워크플로는 데이터 수집, 변환, 분석, 활용을 위한 일련의 Task를 뜻합니다. DAG란, 관계 및 종속 항목을 반영하는 방식으로 구성된 Task의 모음입니다. [1] 이러한 DAG는 기본적으로 생성을 하게 되면 아래와 같이 자동 실행이 되게끔 설정이 되어있습니다. 이러한 기본 설정은 DAG Migration을 할 경우에 수동으로 스위치를 OFF 시켜야 하는 경우가 있는데요. 이를 Airflow 옵션 설정을 통해서 방지할 수 .. 2022. 11. 11.
쿠버네티스 서비스(Kubernetes Service) 안녕하세요~ BTC Hallo팀입니다. 이번시간에는 GKE 활용과 관련해서 쿠버네티스 서비스에 대해서 알아보겠습니다. 쿠버네티스 서비스는 동적으로 변하는 IP를 가지는 Pod들에 고정된 방법으로 접근하고, 동일한 서비스를 제공하는 Pod 그룹에 접근하는 단일 진입점을 생성하는 리소스이다. 각 서비스에는 서비스가 존재하는 동안 변하지 않는 IP와 port가 있다. 클라이언트는 해당 IP:port에 연결할 수 있고, 이 연결은 서비스를 제공하는 Pod 중 하나로 라우팅된다. 서비스 타입 ClusterIP 동일한 서비스를 지원하는 Pod는 하나 이상 존재할 수 있다. 이때 ClusterIP를 통해 백엔드의 동일한 서비스를 제공하는 Pod들로 로드밸런싱이 가능하다. Selector의 Label이 동일한 Pod를.. 2022. 11. 1.
Terraform 리소스의 개념 이해 - GCP 2편 안녕하세요! 하씨가문의 영광입니다! 지난번까지 Terraform GCP Provider 및 기본 구성에 대해서 알아보았는데요! 이번에는 GCP의 subnetwork와 address에 대해서 다뤄보도록 하겠습니다:) Don't have a good day, Have a great day! ▶ 목차 google_compute_subnetwork google_compute_address 1. google_compute_subnetwork resource "google_compute_subnetwork" "network-with-private-secondary-ip-ranges" { name = "test-subnetwork" ip_cidr_range = "10.2.0.0/16" region = "us-cent.. 2022. 11. 1.
[Google Cloud Platform] GCP 고객 사례 GCP 고객 사례 - Google Cloud Platform, GCP - GCP의 다양한 서비스 - CASE 01. 차량 공유 - 쏘카 - CASE 02. 전자상거래 - 당근마켓 - CASE 03. 항공 - 대한항공 안녕하세요. BTC GCP팀 소속 손지수, 박은혜입니다. 며칠 전 이태원에서 차마 믿기지 않는 소식을 들었습니다. 소중한 사람을 잃은 분들께 깊은 애도와 위로를 보내며, 부상자들의 빠른 쾌유를 바랍니다. 좋은 곳에서 평안하시길 기원하며 삼가 고인의 명복을 빕니다. 책임 책무의 유무 판단 중요합니다. 그리고! 또한, 안전관리·질서유지의 기본 프로세스를 갖춘 공동체. 미리 축제의 규모와 인파를 파악해 위험 발생을 예상하여 관련 조치를 취할 수 있도록 사전에 준비 및 대비할 수 있는 환경. 급격하.. 2022. 10. 31.
Google Cloud Armor (2) 안녕하세요~ BTC Hallo 팀입니다. 이번에는 지난번에 소개해 드렸던 GCP Cloud Armor에 대해서 더 자세하게 알아보겠습니다. Cloud Armor의 경우 비용이 조금 비싼 단점이 있지만 보안에 있어 확실하고 강력한 보호를 제공하기 때문에 중요한 서비스라고 볼 수 있습니다. 사전 구성된 WAF 규칙 Google Cloud Armor의 사전 구성된 규칙은 인터넷에서 일반적인 공격으로부터 웹 애플리케이션과 서비스를 보호하고 OWASP 상위 10개 위험을 완화하는 데 도움이 됩니다. 규칙을 사용하면 Google Cloud Armor에서 각 서명을 수동으로 정의할 필요 없이 편리하게 명명된 규칙을 참조하여 고유한 트래픽 서명을 평가할 수 있습니다. 규칙 소스는 ModSecurity Core Rule.. 2022. 10. 26.
[GCP]BigQuery Slot의 종류 및 사용방법 안녕하세요 MC에몽입니다. 이번주는 GCP에서 제공하는 완전관리형 Data warehouse 서비스인 BigQuery에서 사용되는 가상 CPU인 Slot의 종류 및 사용방법에 대해 알아보겠습니다. 1. BigQuery Slot 이란? BigQuery는 완전관리형 서비스이기 때문에 사용자가 직접 인프라를 관리할 필요가 없습니다. BigQuery에서 작업시 사용되는 리소스는 Slot이라는 형태로 구현되어 있으며, 쿼리 크기와 복잡성에 따라 각 쿼리에 필요한 Slot 수를 자동으로 계산합니다. 2. Slot의 종류 Slot은 가격정책에 따라 2가지 종류로 나누어 집니다. 1) On-demand Pricing Slot On-demand, 주문형 가격 책정 모델의 Slot은 쿼리로 스캔한 데이터에 용량에 대한 비.. 2022. 10. 25.
GKE Backend Timeout 변경 방법 안녕하세요 MC에몽입니다. 오늘은 GKE Backend Timeout 변경 방법에 대해 알아보는 시간을 가지도록 하겠습니다. 서비스를 제공하는 경우, 서비스 제한 시간 설정이 필요한 경우가 있습니다. 서비스 제한 시간을 설정하여 서비스 제공 시간에 대한 설정이 가능합니다. 이처럼 서비스 별로 적절한 제한시간을 설정하여 사용할 경우 좀 더 연결 관리에 유익할 것입니다. Backend Timeout은 HTTP, HTTPS, HTTP/2 프로토콜을 사용하는 External 및 Internal HTTP(S) LB의 경우 백엔드 서비스 제한 시간은 HTTP(S) 트래픽의 요청/응답 제한 시간입니다. Google의 LB에는 Backend Timeout이 기본 30초로 설정되어 있습니다. 설정 가능한 허용 범위는 1.. 2022. 10. 20.
[GCP] Google Cloud Armor 안녕하세요~ BTC Hallo팀입니다. 이번에는 GCP의 Cloud Armor서비스에 대해서 알아보겠습니다. Google Cloud Armor를 사용하면 DDoS 공격과 교차 사이트 스크립팅(XSS), SQL 삽입(SQLi)과 같은 애플리케이션 공격을 포함한 여러 유형의 위협으로부터 Google Cloud 배포를 보호할 수 있습니다. Google Cloud Armor에는 일부 자동 보호 기능이 포함되어 있으며 수동으로 구성해야 하는 경우도 있습니다. 일부는 전역 외부 HTTP(S) 부하 분산기와 전역 외부 HTTP(S) 부하 분산기(기본)에서만 사용할 수 있습니다. 보안정책 애플리케이션이 Google Cloud, 하이브리드 배포 또는 멀티 클라우드 아키텍처에 배포되는지 여부에 관계없이 Google Clo.. 2022. 10. 18.

티스토리툴바