안녕하세요 막내즈입니다.
오늘은 AWS 기술인 Glue와 EMR에 대해서 공유드립니다.
① Glue
- : 분석 사용자가 여러 소스의 데이터를 쉽게 검색, 준비, 이동, 통합할 수 있도록하는 서버리스 데이터 통합 서비스
- 추출, 변환, 로드(ETL) 파이프라인을 시각적으로 생성, 실행, 모니터링하여 데이터 레이크에 데이터를 로드할 수 있습니다.
- spark + 카탈로그 + 커넥션
② EMR
- 하둡 스파크 등 오픈소스 프레임워크를 규모에 구애받지 않고 원하는 용량으로 생성하는 분산파일 시스템
- 빅데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼
- EMR을 사용하면 대량의 데이터를 다른 데이터 내부 외부로 이동할 수 있음.
댓글