본문 바로가기

GCP158

[Google Cloud Platform] 빅데이터와 머신러닝(4) 안녕하세요~ 할부로애틋하게 BTC_손지수, 박은혜 입니다! 이번 주에는 빅데이터와 머신러닝 소개를 계속해서 이어나가려고 합니다! 이번 포스팅에서는 Cloud Pub/Sub, Dataflow에 대해 알아보도록 하겠습니다. 그럼 이번 한 주도 GCP에 더 가까워져 봅시다~! 먼저 Cloud Pub/Sub에 대해 알아보고자 합니다. Pub/Sub은 BigQuery, 데이터 레이크, 운영 데이터베이스로 스트리밍하기 위한 이벤트를 수집하는 서비스 입니다. 이 Pub/Sub를 통해 서비스는 비동기적으로 100밀리초의 지연 시간으로 통신할 수 있습니다. 뿐만 아니라 Pub/Sub는 데이터를 수집하고 배포하는 스트리밍 분석 및 데이터 통합 파이프라인에 사용됩니다. 이는 서비스 통합을 위한 메시징 중심 미들웨어 또는 태.. 2022. 8. 5.
GCP - Google Cloud DNS에 한글 도메인 등록 & 사용하기 안녕하세요. MC에몽입니다. 오늘은 Google Cloud DNS에 한글 도메인을 등록하여 사용하는 방법에 대해서 알아보겠습니다. Cloud DNS 상에 한글 도메인을 DNS 이름으로 넣을 시 다음과 같은 에러가 발생합니다. 이는 한글을 인식 할 수 없는 Cloud DNS 서버가 해당 값을 잘못된 값으로 인식하기에 발생하는 오류입니다. [1] 따라서 한글 도메인을 Cloud DNS 서버가 인식할 수 있는 영문 도메인으로 바꾸어서 등록을 해야 합니다. 영문 도메인으로 바꾸어서 등록을 하여도 다시 한글 도메인으로 사용 가능한 이유는 한글 도메인도 DNS 시스템에서 영어,숫자,하이픈(-)으로 구성된 Punycode의 형태로 변환된 후 DNS 서버에 전달 & 저장 되기 때문입니다. 이를 간단히 그림으로 표현하면.. 2022. 8. 3.
AWS to GCP Migration 안녕하세요. MC에몽입니다. 오늘은 AWS EC2를 GCP VM으로 Migration하는 과정을 알아보겠습니다. Migration이란 ‘이주하다’라는 사전 용어로, IT에서는 서로 다른 환경(각 CSP, On-Presmiss)으로 사용하고 있는 각 서비스를 옮기는 것을 뜻합니다. 그럼 과정을 살펴보도록 하겠습니다. 1.각 ORG, Project Level에서 필요한 권한을 부여해줍니다.. Org Level Role Organization Role Administrator : 조직 역할 관리자 Organization Administrator : 조직 관리자 ※ Org Level Role은 Organization & Folder Level에서 Migration 시 필요한 역할입니다. Project Level.. 2022. 8. 3.
[GCP] Secret Manager 안녕하세요~! BTC Hallo팀입니다. 오늘은 GCP의 Secret Manager에 대해서 소개해 드리겠습니다. 요즘 보안에 대한 관심이 높고 중요하게 생각되는데요. 이러한 상황에서 Secret Manger는 편리하면서도 높은 보안을 유지해 주는 Service라고 할 수 있습니다. 이번에는 Secret Manger에 대해 전체적인 개요를 소개해 보겠습니다. Secret Manager는 API 키, 비밀번호, 인증서, 기타 민감한 정보를 위한 안전하고 편리한 스토리지 시스템입니다. Secret Manager는 Google Cloud에서 보안 비밀을 관리, 액세스, 감사하는 중앙의 단일 정보 소스를 제공합니다. Secret Manager를 사용하면 다음과 같은 장점을 얻을 수 있습니다. 1. 간편해진 최소.. 2022. 8. 3.
Data Catalog 안녕하세요~! GCP Hallo팀입니다. 오늘은 Data Catalog에 대해서 설명해 보겠습니다. Data Catalog는 Google Cloud의 데이터 애널리틱스 제품군에서 확장 가능한 완전 관리형 메타데이터 관리 서비스입니다. Data Catalog가 왜 필요할까요? 오늘날 대부분의 조직은 점점 증가하는 대규모 데이터 애셋을 다룹니다. 조직 내의 데이터 이해관계자(소비자, 제작자, 관리자)는 여러 문제를 겪고 있습니다. 적절한 도구가 없으면 문제가 데이터를 효율적으로 사용하는 데 주요 장애물이 됩니다. Data Catalog를 사용하는 조직은 중앙 집중식 공간에서 다음을 수행할 수 있습니다. 1.통합 뷰가 있으면 적절한 데이터를 쉽게 찾을 수 있습니다. 2.기술 및 비즈니스 메타데이터로 데이터를 .. 2022. 7. 27.
[Google Cloud Platform] GCP 빅데이터와 머신러닝(3) Google Cloud 빅데이터 플랫폼 - 실시간 데이터 - Data Pipeline 안녕하세요. BTC GCP팀 소속 손지수, 박은혜입니다. 코로나가 또다시 기승을 부리는 요즘이네요. 건강, 체력 모두 조심 또 조심합시다! 지난 2주간 클라우드 상에서 '빅데이터' 와 '머신러닝' 서비스가 어떻게 활용될 수 있는지, '온프레미스' 에서 빅데이터 플랫폼 구축할 때, 그리고 'GCP의 서비스 Dataproc' 을 사용했을 때 작업 과정·결과를 살펴보며 더 효율적인 구축 과정을 알 수 있었습니다. 오늘의 글은 실시간 데이터와 데이터 파이프라인에 대해서 다뤄보려고 합니다. 잘 부탁드립니다.^^ MODULE 04 빅데이터와 머신러닝 Google Cloud 빅데이터 플랫폼 실시간 데이터 Hadoop과 같은 경우 일.. 2022. 7. 27.
Kubernetes Engine으로 배포 관리 DevOps 방식에서는 정기적으로 여러 배포를 사용하여 '지속적 배포', 'Blue/Green 배포', 'Canary 배포'와 같은 애플리케이션 배포 시나리오를 관리합니다. 배포/확장 Google Cloud Shell로 실습하겠습니다. gcloud auth list # 사용 중인 계정 이름 목록 표시합니다. gcloud config list project # 프로젝트 ID 목록을 표시합니다. gcloud config set compute/zone asia-northeast2-a # GCP 영역을 설정하고, 로컬 영역을 asia-northeast2-a로 설정합니다. gsutil -m cp -r gs://spls/gsp053/orchestrate-with-kubernetes . cd orchestrate-w.. 2022. 7. 24.
[Google Cloud Platform] 빅데이터와 머신러닝(2) 안녕하세요~ 할부로애틋하게 BTC_손지수, 박은혜 입니다! 저번 포스팅을 통해 빅데이터와 머신러닝에 대해 알아보았습니다~ 이번 포스팅에선 저번 포스팅 마지막에 살펴보았던 Cloud Dataproc, 관리용 Hadoop에 대해 더 자세하게 알려드리고자 합니다! 그럼 이번 한 주도 GCP에 더 가까워져 봅시다~! 먼저, Dataproc은 Apache Spark, Apache Flink, Presto, 30개 이상의 오픈소스 도구 및 프레임워크를 실행하기 위한 확장성이 뛰어난 완전 관리형 서비스입니다. Dataproc을 전 세계에서 Google Cloud와 완벽하게 통합하여 비용 부담 없이 데이터 레이크 현대화, ETL, 안전한 데이터 과학에 사용할 수 있습니다! 또한 Dataproc은 일괄 처리, 쿼리, 스.. 2022. 7. 22.

티스토리툴바