ETL이란?

안녕하세요 막내즈입니다.

오늘은 ETL에 대해서 공유드립니다.

 

ETL이란?

추출(Extract),

변환(Transform),

로드(Load)

조직에서 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 허용되는 방법

최종 대상 (데이터베이스, 특히 운영 데이터 스토어 , 데이터 마트, 데이터 웨어하우스)로 변환 데이터를 적재한다. 

 

데이터 웨어 하우스란?

데이터 웨어하우스는 POS 트랜잭션, 마케팅 자동화, 고객 관계 관리 시스템 등의 여러 소스에서 가져온 구조화된 데이터와 반구조화된 데이터를 분석하고 보고하는 데 사용되는 엔터프라이즈 시스템입니다. 데이터 웨어하우스는 임시 분석과 커스텀 보고서 생성에 적합합니다. 데이터 웨어하우스는 현재 데이터와 과거 데이터를 모두 한곳에 저장할 수 있으며, 시간 흐름에 따른 장기간의 데이터 동향을 확인할 수 있도록 설계되었으므로 비즈니스 인텔리전스의 주요 구성요소입니다.

 

정리하자면, 데이터 웨어하우스 [분석가능한 형태-가공한 데이터]

: 효율적으로 분석 가능한 형태로 정보들이 저장되어 있는 중앙 저장소

: 관계형 데이터베이스, 트랜잭션 시스템 등 다양한 시스템으로부터 정기적으로 데이터를 수집하는 개념

: 정형데이터

데이터 레이크란?

데이터 레이크는 구조화되거나 반구조화되거나 구조화되지 않은 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소입니다. 데이터 레이크는 데이터를 기본 형식으로 저장할 수 있으며, 크기 제한을 무시하고 다양한 데이터를 처리 할 수 있습니다.

정리하자면, 데이터레이크 [원시데이터]

: 가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 저장소의 집합

: 정형/비정형/비휘발성 등 다양한 형태의 데이터가 있음.

: 단순 저장의 공간, 분석의 공간은 별도 존재