본문 바로가기

안민규19

[GCP] Cloud Dataflow ※ 포스팅된 내용은 서적 "Google Cloud Platform in Action"과 추가 검색한 자료를 토대로 정리했습니다. 데이터 처리 일부 데이터를 수집하여 어떤 형태로 변환함 하나의 데이터 청크를 다른 데이터 청크로 처리하거나 스트리밍 변환 등을 하는 것 ​ 첫번째 Apache Beam (1) Apache Beam 데이터 처리 파이프라인 작업에 적합 파이썬과 자바 모두에서 바인딩이 있는 프레임워크 다양한 입력 데이터와 출력 데이터 작업뿐만 아니라 다양한 내장 데이터 변환을 사용하여 데이터 처리 파이프라인을 나타낼 수 있음 (2) Apache Beam 핵심 개념 ​ ⓐ 파이프라인(pipeline) 많은 데이터 처리 작업의 상위 컨테이너 모든 입력 및 출력 데이터와 입력에서 원하는 출력으로 데이터를.. 2022. 6. 16.
Google Composer google composer는 Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다. 하이브리드 및 멀티 클라우드 환경을 아우르는 파이프라인을 작성, 일정 예약, 모니터링 Apache Airflow 오픈소스 프로젝트에 빌드되며 Python으로 작동 종속되지 않고 사용이 간편 위와 같은 장점들이 있고 완전 관리형 워크플로 조정 - composer만의 관리 기능과 Airflow 호환성 덕분에 리소스를 프로비저닝하기보다 워크플로우 작성, 예약, 모니터링에 집중이 가능 Google Cloud 제품과 통합 - BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, Ai Platform 등의 Google Cloud 제품과 엔드.. 2022. 6. 10.
[Qwiklab] Cloud Composer Copying BigQuery Tables Across Different Locations Data Engineering 과정 (in Qwiklab) Cloud Composer Copying BigQuery Tables Across Different Locations https://www.cloudskillsboost.google/focuses/3528?locale=en&parent=catalog Data Engineering Cloud Composer Copying BigQuery Tables Across Different Locations 첫번째 개요 (1) 관련 서비스 소개 ⓐ Cloud Composer 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스 [GCP Data] Cloud Composer 개요 및 기.. 2022. 6. 3.
Google Kubernetis Engine 구성 gke를 이용하여 클러스터 생성 gcloud auth login gcloud config set project [projectID] gcloud config set compute/region asia-northeast3 gcloud config set compute/zone asia-northeast3-a​ 해당 설정을 끝내고 config list 명령어를 사용했을 때 [accessibility] screen_reader = True [component_manager] disable_update_check = True [compute] gce_metadata_read_timeout_sec = 30 [core] account = your@account.com disable_usage_reporting = .. 2022. 5. 27.
[Qwiklab] ETL Processing on Google Cloud Using Dataflow and BigQuery 첫번째 개요 (1) 관련 서비스 소개 ⓐ BigQuery 몇 초만에 대규모 데이터를 쿼리할 수 있는 관계형 클라우드 데이터베이스 [GCP in Action] CH 19. BigQuery-① https://blog.naver.com/ohn-lab/222601565238 [GCP in Action] CH 19. BigQuery-② https://blog.naver.com/ohn-lab/222605131452 ⓑ Dataflow Apache Beam에서 사용 가능한 여러 옵션 중 하나로, 완전 관리형 파이프라인 러너 * Apache Beam ETL, 배치 및 스트림 처리를 포함한 데이터 처리 파이프 라인을 정의하고 실행하기위한 오픈 소스 통합 프로그래밍 모델 [GCP in Action] CH 20. Cloud.. 2022. 5. 18.
k8s 노드간 통신 쿠버네티스는 허브 앤 스포크 API 패턴을 가지고 있다. 노드의 모든 API 사용은 API 서버에서 종료된다. 다른 컨트롤 플레인 컴포넌트 중 어느 것도 원격 서비스를 노출하도록 설계되지 않았다. API서버는 하나 이상의 클라이언트 인증 형식이 활성화된 보안 HTTPS 포트에서 원격 연결을 수신하도록 구성딘다. ​ API 서버에서 kubelect으로의 연결은 다음의 용도로 사용된다. -파드에 대한 로그를 가져온다. -실행 중인 파드에 (kubectl을 통해) 연결한다. -kubelet의 포트-포워딩 기능을 제공한다. ​ --kubelet-certificate-authority플래그를 사용하여 API서버에 kubelet의 서빙 인증서를 확인하는 데 사용할 루트 인증서 번들을 제공한다. 하지만 이 방법은 신.. 2022. 5. 13.
[Qwiklab] Building an IoT Analytics Pipeline on Google Cloud Data Engineering 과정 (in Qwiklab) Building an IoT Analytics Pipeline on Google Cloud 2022. 5. 5.
k8s 보안 클라우드 네이티브 보안의 4C가 있다. 클라우드(Cloud), 클러스터(Cluster),. 컨테이너(Container), 코드(Code)이다 클라우드 네티이브 보안 모델의 각 계층은 다음의 가장 바깥쪽 계층을 기반으로 하낟. 코드 계층은 강력한 기본 보안 계층의 이점을 제고앟ㄴ다. 코드 수준에서 보안을 처리하여 기본 계층의 악한 보안 표준을 보호할 수 없다. ​ 클라우드 공급자 보안 자신의 하드웨어 또는 다른 클라우드 공급자에서 쿠버네티스 클러스터를 실행 중인 경우, 보안 모범 사례는 설명서를 참고한다. 다음은 인기있는 클라우드 공급자의 보안 문서 중 일부에 대한 링크이다. IaaS 공급자 링크 Alibaba Cloud https://www.alibabacloud.com/trust-center Amazo.. 2022. 4. 29.

티스토리툴바