본문 바로가기

GCP158

[GCP] Dataproc 베하~! 안녕하세요 금쪽상담소의 오은영석사와 금쪽이입니다~ 지난 한 주 무탈하게 지내셨나요?! 무더위는 한풀꺾이는 지금 가을이 성큼성큼 다가오고 있다는 것을 느낄수 있었던 한 주 였던 거 같습니다. 이번 시간에는 무엇을 배울까요??? 두구두구두구.... 바로 Dataproc입니다...! 열심히 배워봅시다!! Dataproc 이란? 일괄 처리, 쿼리, 스트리밍, 머신 러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 Spark 및 Hadoop 서비스입니다. Dataproc 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 불필요한 클러스터를 사용 중지하여 비용을 절감할 수 있습니다. 따라서, 관리 시간과 비용이 절감되므로 작업과 데이터에 집중할 수 있습니다. Hadoop 각 노드에 있는 디스크를.. 2023. 8. 17.
[GCP] GCR과 GAR의 차이점 베하~! 안녕하세요 BTC금쪽상담소의 오은영석사와 금쪽이 입니다~ 무더운 여름 별탈없이 지내셨나요?? 무척이나 더운 날씨에 건강 관리 유의하시고 항상 수분 섭취 잘 챙기실 바랍니다. 여러분 그거 아시나요? 강아지는 키가 작기 때문에 지면에서 부터 발생하는 복사열에 의해 사람이 35도 정도의 더위를 느낀다면 강아지는 50도의 열기를 느낀다고 해요. 여름엔 밤에 산책을 데리고 다니시는걸 추천드릴께요! 자 그럼 잡담은 이쯤에서 마무리하고 오늘은 GCP의 서비스인 Google Container Registry와 Google Artifact Registry에 대해 알아보도록 하겠습니다. Container Registry Container Registry는 Google Cloud에 비공개 컨테이너 이미지를 저장하기.. 2023. 8. 6.
[GCP] Container Registry image migration 베하~! 안녕하세요 BTC금쪽상담소의 오은영석사와 금쪽이 입니다~ 무더운 여름 별탈없이 지내셨나요?? 이 무더운 날엔 집에서 저의 BTC금쪽상담소와 함께 보내는 건 어떨까요?ㅎㅎ 이번시간에 배워볼 내용은 image migration입니다! 간혹 다른 프로젝트로 이미지를 옮겨야 하는 일이 발생하곤 합니다. 그럴때 사용할 수 있는 방법에 대해 알아보도록 하겠습니다. 준비 되셨나요?! 바로 알아보도록 하겠습니다!! 저희는 이미지 복사에 대해 배워보겠습니다! 우선 cli환경으로 사용하기 위해 앞서 말쓴드린 방법으로 환경구성을 부탁드립니다~! 그 방법이 기억안나시는 분은 아래 링크를 통해 환경 구성 후 봐주시기 바랍니다. ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ [GCP] gcloud SDK 환경 구성 베하~! 안녕하세요 금.. 2023. 8. 6.
GCP custom rule 생성 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번 시간에는 GCP custom rule 생성 방법에 대해 알아보도록 하겠습니다. 사용자가 요청한 gcp에 권한은 하나인데 gcp 기본 role을 주자니 권한이 과하다거나 부족한 경우를 위하여 커스텀 룰이라는 것을 만들 수 있는데 이번 시간에는 간단하게 커스텀룰을 생성하는 방법에 대해 말씀드리겠습니다. 먼저 IAM & Admin -> roles로 갑니다. 여기서 잠깐 ! 자신의 권한도 체크를 해야합니다. 자신의 이메일 혹은 그룹이 해당 프로젝트의 Role Administrator 역할을 가지고 있어야 커스텀 룰 생성이 가능합니다. Roles에 들어가셔서 위에 보시면 아래 사진과 같이 CREATE ROLE이 보이실 겁니다. 클릭합니다~ 이름과 .. 2023. 8. 4.
[Assume Role with Web Identity] 구글 계정으로 AWS SDK 사용하기 안녕하세요, 엄..팀입니다. 이번 시간에는 Google Oauth2.0을 활용하여 AWS Role을 Assume하고, 임시자격증명을 통해 AWS SDK를 Keyless로 사용하는 방법에 대해 알아보겠습니다. 사전작업 go 설치 Oauth consent screen 구성 1. Oauth2.0 Client ID 생성 redirect URL : http://127.0.0.1:3000/auth/google/callback 2. 생성 완료된 Client ID 및 Client Secret 확인 { "web": { "client_id": "**{{ CLIENT_ID }}**", "project_id": "{{ PROEJCT_ID }}", "auth_uri": "", "token_uri": "", "auth_provi.. 2023. 8. 4.
GCP의 Image Service : Cusotm Image & Instance Template 베하. 목요일 저녁입니다. 다들 즐거운 한주 보내고 계실까요? 불금을 위해 무더운 날씨에도 힘내시는 베스핀 가족분들께 응원의 메시지를 보냅니다. 오늘 엄팀의 포스팅 주제는 저번 주제 'GCP의 Image Service'의 2편격인 포스팅입니다. 지난 시간엔 Machine Image와 Snapshot에 대해 알아보았는데요. 오늘은 GCP가 제공하는 또 다른 Image Service인 Custom Image와 Instance Template에 대해 알아보겠습니다. 먼저 Custom Image에 대해 알아보겠습니다. Custom Image는 사용자가 소유하고 액세스를 제어하는 Boot Disk Image입니다. 사용자의 Cloud Project에서만 Custom Image를 사용가능하며, Boot Disk 및.. 2023. 8. 3.
GCP 환경에서의 프로젝트간 Data Migration 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께할 내용은 GCP환경에서 다른프로젝트로 Data를 Migration 해볼겁니다!! 쿼리를 통해 간단히 할 수 있으니 겁먹지 말고 진행하시죠~ 덮어씌워지는 목적지에 데이터가 있는경우 백업은 필수입니다!! 진정한 엔지니어는 최악의 상황에 대비해야 하는법... 개요 Bigquery 데이터 프로젝트간 Data Migration DB 데이터 프로젝트간 Data Migration 1. Bigquery 데이터 프로젝트간 Data Migration 클라우드를 사용하게 되면 단일 프로젝트를 사용하는 경우도 있지만 보통 개발과 운영환경으로 프로젝트를 분리하여 사용하는 경우가 대부분입니다! 이러한 경우 개발환경에서 성공적으로 테스트가 된 경우 운영환경.. 2023. 8. 1.
AWS -> GCP Workload Identity Federation 구성 베하 ! 문땅훈과 루피입니다. 오늘은 GCP와 AWS WIF 구성하는 방법에 대해 자세히 알아보겠습니다. 개요 WIF 란? AWS 설정 GCP 설정 1. WIF란? WIF란 ? Workload Identity Federation 라고 하며, 외부 ID로 GCP 단기 액세스 토큰을 발급받고 서비스 계정을 가장하여 GCP 리소스에 접속하는 개념입니다. WIF 풀에서 인증된 공급자만 단기 액세스 토큰이 살아있는 시간에 접속이 가능합니다. 이러한 방식을 사용하면, 해당 토큰이 탈취되어도 서비스 계정의 key file 보다 보안성이 더 높습니다. GCP의 WIF 풀 공급 업체는 AWS, OICD(github action, Okta, Kubernetes,), Azure 등을 지원합니다. 기존의 리소스 접근 방식은 .. 2023. 7. 25.

티스토리툴바