lazipeo23 [GCP] Dataflow Cloud Dataflow 란? 서버리스 환경, 직접 클러스터를 관리할 필요 X 서비스를 위한 프로그래밍에 전념할 수 있음 간접 운영 비용이 줄어듬 다른 GCP 리소스들을 이용할 수 있음 지원하는 프로그래밍 언어 Java Python Go Dataflow vs. Dataproc DataflowDataproc Apache Beam기반 Apache Hadoop/Spark 기반 Severless DevOps 기존에 레거시 없이 새로 접근할 때 적합 Apache 빅데이터 생태계에 적합 Apache Beam은 무엇인가? Apache Beam은 구글에서 개발하여 2016년에 오픈소스로 공개한, ETL, batch, streaming 파이프라인을 처리하기 위한 unified programming model이다. 다양.. 2022. 6. 3. [GCP] 부하 분산기 트래픽의 집중 트래픽이 집중 되며 서버에 부하가 늘어가면 서버 관리자는 들어오는 트래픽에 대한 고민을 해야합니다. 서버의 하드웨어 성능을 늘릴 것인가 서버 한 대를 더 구매할것인가 여기서 스케일 업 , 스케일 아웃 으로 말할 수있습니다. 이름설명 스케일 업 서버의 하드웨어(CPU,메모리 등)업그레이드 스케일 아웃 서버를 한대 더 구매 스케일 아웃처럼 서버를 한대 더 구비하여 서비스를 제공할때 각 서버에 몰리는 트래픽에 관리에 대한 문제점이 생깁니다 만약, 서버-A에는 만대의 트래픽이 몰리고 서버-B에는 수백 대의 트래픽만이 몰린다면 우리가 만족할 만한 서비스가 이뤄지기 힘들기 때문입니다. 하지만 이러한 문제점은 로드밸런싱으로 해결 할 수 있습니다. 그래서 로드 밸런싱이 뭔데? 컴퓨터 네트워크 기술의 일종.. 2022. 5. 13. [GCP] Cloud DNS DNS (Domain Network Servie) 우리가 기존에 사용하던 사이트들의 이름은 원래 IP로 구성되어있습니다. 사이트IP 네이버 223.130.195.200 구글 172.217.175.110 실제로 위 표의 IP를 URL 입력 창에 넣고 이동하면 네이버와 구글에 이동이 가능합니다. 도메인 연결 ? 웹 서버가 있는것처럼 DNS를 이용하여 도메인을 연결할려면 DNS 서버가 필요합니다. DNS 서버를 만들어 서버 구성을 다 완료하고 만들어진 DNS 서버의 아이피와 도메인 연결 사이트를 이용하여 DNS 호스트를 연결해줘야만 도메인 이름으로 접속 할 수 있습니다. 이러한 과정을 할 필요없이 GCP의 cloud dns를 사용하면 레코드 값만 등록하여 도메인 이름으로 접속이 가능합니다. Cloud DNS .. 2022. 5. 9. [GCP] 인스턴스 그룹만들기 오토스케일링 인스턴스에 들어오는 트래픽으로 인스턴스의 사용량이 [지정한계]% 에 도달하게된다면 자동적으로 이미 정해진 이미지|이미지 템플릿을 이용하여 새로 인스턴스를 만들어 부담은 분산시켜 줍니다. 인스턴스 그룹 gcp 에서는 오토스케일링을 인스턴스 그룹으로 지칭 합니다. 새로운 스테이트리스(Stateless) 관리형 인스턴스 그룹 새로운 스테이트풀 관리형 인스턴스 그룹 새 비관리형 인스턴스 그룹 스테이스리스, 스테이스 풀 5equal0 - 스테이트풀,스테이트리스 에서 발췌 스테이스리스 세션 정보를 Server에 저장하지 않습니다. 세션에 무관한 응답 Client의 세션정보(상태)을 저장한다고 하면 처음에 저장된 Server에 Client의 세션정보(상태)가 저장이 되므로 로그밸런서로 이용하여 트래픽이 .. 2022. 4. 29. [GCP] VM 인스턴스 만들기 GCP 에서 사용할수있는 가상 머신 사용하는 만큼 비용을 지불하고 쓸 수 있는 컴퓨터입니다. VM 인스턴스 만들기 설정 - 1 이름 : 인스턴스가 생성될때 사용될 이름 (영구적) 라벨 : 인스턴스 관리하기 위해 사용 리전 : 데이터센터가 존재하는 위치 (국가) 영역 : 데이터센터의 (세부) # 서울 어딘가에 존재한다고합니다. 머신구성 : 만들 인스턴스의 하드웨어(가상)의 성능을 설정합니다. 좋은 구성을 할수록 비용이 많이 나오니 저희에게 맞는 적당한 머신을 선택하시면됩니다. 부팅 디스크 : 인스턴스에 설치된 이미지(OS)를 선택합니다. 가격 : 리전과 머신유형에 따라 매 월 청구되는 가격이 상이합니다. 설정 - 2 서비스 계정 : 인스턴스에서 실행되는 프로그램은 서비스 계정을 사용하여 gcp API를 호.. 2022. 4. 22. [GCP] 방화벽 인스턴스로 수신또는 발신되는 트래픽을제어. 인스턴스를 만들면 기본적으로 ssh(22:tcp) 포트가 닫혀있습니다.. 열다 닫혓다라는 말은 인바운드 포트에 등록되어있다는건데 다른 포트를 이용하기 위해서는 방화벽 인바운드 아웃바운드를 컨트롤 할줄 알아야 합니다. 방화벽 만들어 보기 VPC 네트워크 - 방화벽 방화벽 요소에 들어가면 구글이 기본적으로 만들어 놓은 default 네트워크가 생성되어있습니다. 위 사진은 default-http로 인스턴스로 들어가는 유형에 적용이되며 적용시키는 대상으로는 네트워크의 모든 요청에 대해 반응합니다. 이 방화벽에 요청할 수 있는 IP는 제한이 없이 모든 IP를 허용합니다. 들어올수있는 포트는 80, 화이트리스트 방식입니다. 위 설명처럼 우리가 생성한 VPC 네트워크에 방화.. 2022. 4. 15. [GCP] VPC 네트워크 목표 구성 gcp 항목중 VPC 네트워크에 들어가면 제일 먼저 보이는 항목. 기본적으로 GCP는 네트워크환경을 리전마다 IP와 게이트웨이 방화벽 등 설정을 만들어 놨다. 그 중에 내부 네트워크 망을 만들어 망내에 내부 IP를 사용할려하면 VPC 네트워크를 만들어야한다. (예시) 10.X.X.X/24 대역 VPC 네트워크 만들기 서브넷 마스크 너무 큰 브로드캐스트 도메인은 네트워크 환경에서 패킷전송을 느리게하고 성능저하를 발생 네트워크를 분할하여 통신 성능을 보장하자. IPv4 자원의 한계가 존재하며 주소를 낭비 없이 사용할 수 있도록 IETF에서 로컬 네트워크 내부에서 접속한 호스트의 IP 대역을 외부 네트워크와 명확하게 구분할 수 있는 수단을 표준화는데 사용 IPv4는 4개의 바이너리 8자리수로 이루어.. 2022. 4. 5. 이전 1 2 3 다음
