본문 바로가기

GCP158

[GCP]gke 클러스터 저장소 구성(볼륨) gke 클러스터 저장소 구성은 총 3개로 구성되어 있습니다. 볼륨 사용 영구 볼륨 사용 SMB CSI 드라이버를 사용하여 Windows Server 노드에서 SMB 볼륨에 액세스 그렇다면 볼륨의 유형에는 어떤 것들이 있고 어떻게 구성하는지 알아보겠습니다. 볼륨 개념상 볼륨이란 Pod에 있는 모든 컨테이너가 액세스할 수 있는 디렉터리입니다. Pod 사양에서 선언된 볼륨 소스는 디렉터리 생성 방법, 사용되는 저장소 매체, 디렉터리의 초기 콘텐츠를 결정합니다. Pod는 그것에 포함되는 볼륨과 컨테이너가 볼륨을 마운트하는 경로를 각각 지정합니다. 임시 볼륨 유형은 자신을 둘러싸고 있는 Pod와 수명이 같습니다. 이러한 볼륨은 Pod가 생성될 때 생성되며, 컨테이너가 다시 시작될 때까지 유지됩니다. Pod가 종료.. 2022. 6. 17.
Cloud IAM(Identity and Access Management)​ (1) 주 구성원 안녕하세요, Hallo 팀입니다. 이번 포스팅부터 GCP의 Cloud IAM에 대해 알아보도록 하겠습니다. IAM(Identity and Access Management)​이란? IAM을 사용하면 누구(ID)에게 무슨 리소스에 대한 어떤 액세스 권한(역할)이 있는지 정의하여 액세스 제어를 관리할 수 있습니다. 이러한 IAM을 설정할 때에는 최소 권한의 원칙에 따라 불필요한 권한을 갖지 않도록 하는 것이 중요합니다. GCP IAM에서는 조직 전체에 적용되는 통합 보기를 제공하고 있으며, 규정 준수 프로세스를 간편하게 돕는 감사 기능 내장​되어 있습니다. 또한 IAM을 통해서 클라우드 리소스를 중앙에서 쉽게 관리 가능하며, IAM 정책을 만들면 ID별, 개별 리소스 별로 역할을 부여하고 설정하는 것이 가능합.. 2022. 6. 16.
[GCP] Cloud Dataflow ※ 포스팅된 내용은 서적 "Google Cloud Platform in Action"과 추가 검색한 자료를 토대로 정리했습니다. 데이터 처리 일부 데이터를 수집하여 어떤 형태로 변환함 하나의 데이터 청크를 다른 데이터 청크로 처리하거나 스트리밍 변환 등을 하는 것 ​ 첫번째 Apache Beam (1) Apache Beam 데이터 처리 파이프라인 작업에 적합 파이썬과 자바 모두에서 바인딩이 있는 프레임워크 다양한 입력 데이터와 출력 데이터 작업뿐만 아니라 다양한 내장 데이터 변환을 사용하여 데이터 처리 파이프라인을 나타낼 수 있음 (2) Apache Beam 핵심 개념 ​ ⓐ 파이프라인(pipeline) 많은 데이터 처리 작업의 상위 컨테이너 모든 입력 및 출력 데이터와 입력에서 원하는 출력으로 데이터를.. 2022. 6. 16.
[Google Cloud Platform] 스토리지, 컨테이너 - STRUCTURED DATA(2) 안녕하세요~ 할부로애틋하게 BTC_손지수, 박은혜 입니다! 저번 주 포스팅을 통해 정형 데이터를 위한 스토리지에 대해 알아보았었습니다. 다양한 스토리지 옵션 중 Big Query에 대해 알아보았었는데요~! 오늘은 지연 시간이 중요한 경우에 사용할 수 있는 Bigtable에 대해 알아보고자 합니다. 그럼 이번 한 주도 GCP에 대해 더 가까워져 봅시다~! Cloud Bigtable은 수십억 개의 행과 수천 개의 열까지 확장하여 수 테라바이트, 심지어 수 페타바이트의 데이터까지 저장할 수 있으며 데이터 밀도가 낮은 테이블입니다. 각 행의 단일 값에 대한 색인이 생성되는데, 이러한 값을 row key라고 부릅니다. Bigtable은 매우 짧은 지연 시간으로 매우 많은 양의 단일 키 입력 데이터를 저장하는 데 .. 2022. 6. 10.
[GCP] QWIKLABS 안녕하세요 BTC Hallo팀입니다. 오늘은 GCP의 기술들을 연습 할 수 있는 QWIKLABS에 대해서 소개해 드릴려고 합니다. QWIKLABS는 Google Cloud의 기술 향상을 위해 Google에서 제공하는 서비스 입니다. 서비스는 크레딧으로 이용 가능하며 각 코스별로 사용되는 크레딧의 개수는 차이가 있습니다. GCP에 구성된 환경을 사용하며 설명을 따라 실습해 볼 수 있습니다. 리소스 비용이 많이 필요한 AI 머신러닝이나 빅쿼리를 활용한 실습도 크레딧으로 이용 가능하며 단계별 설명이 잘 이루어져 있어 설명을 이해하며 따라가다 보면 어려운 실습도 쉽게 완료할 수 있는 장점이 있습니다. 중간중간 체크를 통해 올바르게 나아가고 있는지 확인 가능하며 완료시에 배지를 부여받습니다. 여러개의 퀘스트를 수.. 2022. 6. 9.
[Google Cloud Platform] GCP 스토리지, 컨테이너 - STRUCTURED DATA(1) 스토리지, 컨테이너 - GCP의 스토리지 : STRUCTURED DATA (1) - BIgQuery 안녕하세요. BTC GCP팀 소속 손지수, 박은혜입니다. 벌써 6월이 시작됐습니다. 이번 달도 웃음 팡팡 가득한 날이길 바랍니다! 지난 2주간 GCP의 스토리지와 컨테이너 그리고 다양한 스토리지 옵션을 살펴봤습니다. GCP에서는 다양한 스토리지 및 데이터베이스 서비스를 제공하고 있고, 해당 서비스와 관련된 제품은 크게 UNSTRUCTURED DATA: 비정형 데이터를 저장하기 위한 스토리지와 STRUCTURED DATA : 정형 데이터를 저장하기 위한 스토리지로 나눌 수 있었습니다. 저번 포스팅에서는 비정형 데이터와 그 데이터가 저장되는 오브젝트 스토리지, Cloud Storage를 소개해드렸습니다. 이번.. 2022. 6. 7.
[GCP] GKE - 제어 영역 액세스를 위한 승인된 네트워크 추가 안녕하세요. MC에몽입니다. 오늘은 GCP의 Kubernetes Engine 서비스인 GKE의 기능 중 제어 영역 액세스 제어 기능에 대해서 알아보겠습니다. GKE Cluster를 통제하는 제어 영역(Control Plane)은 보안 상 신뢰할 수 없는 IP 주소로 액세스 할 수 없게 차단할 필요가 있습니다. * 제어 영역이란 Kubernetes의 Worker Node를 제어하는 Master Node가 존재하는 영역을 의미합니다. Google Cloud에서는 승인된 네트워크를 사용하여 신뢰할 수 있는 지정된 IP 주소 범위로만 제어 영역에 액세스 할 수 있는 보안적 이점을 제공합니다.[1] 승인된 네트워크는 GKE Cluster 생성 시 추가하거나 기존 클러스터에 승인된 네트워크를 추가할 수 있습니다. .. 2022. 6. 6.
[GCP] Dataflow Cloud Dataflow 란? 서버리스 환경, 직접 클러스터를 관리할 필요 X 서비스를 위한 프로그래밍에 전념할 수 있음 간접 운영 비용이 줄어듬 다른 GCP 리소스들을 이용할 수 있음 지원하는 프로그래밍 언어 Java Python Go Dataflow vs. Dataproc DataflowDataproc Apache Beam기반 Apache Hadoop/Spark 기반 Severless DevOps 기존에 레거시 없이 새로 접근할 때 적합 Apache 빅데이터 생태계에 적합 Apache Beam은 무엇인가? Apache Beam은 구글에서 개발하여 2016년에 오픈소스로 공개한, ETL, batch, streaming 파이프라인을 처리하기 위한 unified programming model이다. 다양.. 2022. 6. 3.

티스토리툴바