AWS Redshift

베하~! 탑신병자 듀오 팀 나르 입니다!

이번 포스팅에서는 AWS Redshift에 대해서 알아보도록 하겠습니다

---

Redshift란?

AWS에서 완전 관리형으로 제공해주는 클라우드 데이터웨어하우스
클러스터(노드집합)을 생성하고, 클러스터가 프로비저닝 완료 후 데이터 적재 및 분석,
PostgreSQL을 기반으로 데이터처리를 지원

Redshift Architecture

클러스터

• 하나 이상의 컴퓨팅 노드로 구성
• 두 개 이상의 컴퓨팅 노드가 프로비저닝 될 경우 리더 노드가 컴퓨팅 노드를 관리하고 외부 통신을 처리

리더 노드

• 클라이언트와 통신을 처리하고 컴퓨팅 노드를 관리
• 노드간의 통신을 관리하며, 메타데이터를 저장
• 쿼리가 수행되면 컴파일 후 컴퓨팅 노드에 전달

컴퓨팅 노드

• 다수의 슬라이스로 분할
• 각 슬라이스는 노드의 메모리 및 디스크 공간을 할당 받는다
• 리더 노드로 부터 할당 받은 쿼리에 대하여 각 슬라이스는 병렬로 작업을 처리

Redshift 특징

• 여러 컴퓨팅 노드가 병렬로 작동, 모든 쿼리를 처리한 최종 집계 결과를 얻는다
• 데이터를 압축하여 디스크 I/O 요구사항을 줄여 쿼리 성능을 향상 
  • 쿼리를 실행하면 압축 된 데이터를 메모리로 읽어온 후 쿼리 실행 도중 압축이 해제 된다
• 최근 쿼리 결과를 리더 노드의 메모리에 버퍼링 한다
• 리더 노드는 클러스터의 사용 가능한 모든 노드에 최적화된 컴파일 코드를 배포
• OLTP기능을 포함하여 큰 데이터 세트의 분석을 위해 최적화 되어 있다

Redshift 노드 유형

RA3

• 높은 처리량 및 대규모 데이터 집합 처리에 적합
• 고성능 SSD 스토리지를 사용하여 비용 효율적인 스토리지와 높은 성능 제공
• Amazon Redshift Spectrum 및 Concurrency Scaling과 같은 기능 지원
• Redshift Managed Storage(RMS)와 통합

DC2

• 고성능 스토리지 중심으로 설계
• 빠른 스토리지 및 메모리 대역폭을 제공

DS2

• 고용량 스토리지 중심으로 설계
• 높은 스토리지 대역폭과 함께 비용 효율적인 스토리지를 제공

Amazon Redshift 기능

Amazon Redshift Spectrum 
 => 데이터 로딩이나 ETL 없이도 Amazon S3의 데이터 레이크에 대한 쿼리를 실행할 수 있게하는 Amazon Redshift의 기능

Concurrency Scaling
=> 무제한의 동시 사용자 및 동시 쿼리를 일관되게 빠른 쿼리 성능으로 지원
추가적인 쿼리 처리 성능을 필요에 따라 Redshift 클러스터 성능을 확장할 수 있다

Redshift vs 기존 데이터웨어하우스

• 확장성
  • 기존 DW : 온프레미스 시스템으로 확장이 어렵고 복잡
  • Redshift: 클라우드 기반으로 S3와 연결되어 확장성이 뛰어나다, 확장 관리 작업 대부분을 자동화하여 편리한 확장이 가능
• 데이터 집합적
  • 기존 DW: 데이터가 여러 장소에 분산되어 있어 어떤 데이터가 원본인지 파악하기 어려우며, 분석 시간과 비용이 많이 든다
  • Redshift: 모든 데이터를 S3 하나에 저장하여 분석할 수 있다
• 데이터 분석
  • 기존 DW 정형화된 데이터만 분석할 수 있습니다.
  • 레드시프트: 정형화된 데이터뿐만 아니라 반정형화, 비정형화 데이터도 분석할 수 있다(JSON, TextFile, PARQUET, OpenCSV 등 지원). S3에는 원시 데이터를 그대로 저장하고, 그것을 레드시프트가 분석시 필요한 형태로 데이터를 가공한다

---

지금까지 AWS Redshift 에 대하여 알아봤습니다

다음 포스팅에는 더욱 흥미로운 주제로 돌아오겠습니다~!

그럼 베빠~!