AWS - Athena (2)

안녕하세요

BTC_막내가 최고야 팀입니다!

AWS Athena (2) 파트 시작하겠습니다~

 

 

 

 

---

 

Athena를 사용하여 데이터 수집을 위해선 아래와 같은 초기 절차가 필요한데요,

1. 데이터 원본 생성

2. 데이터 원본에서 데이터베이스 생성

3. 데이터베이스에서 테이블 생성

 

 

순서대로 진행 한번 해보겠습니다. ( Test.csv file)

 

1. 데이터 원본에서 데이터 베이스 생성

 

2. 데이터베이스에서 테이블 생성

 

쿼리 문이 sql 구조랑 많이 흡사한걸 확인할수 있는데요

 

테이블 밑  파라미터에 대해 알아보도록하겠습니다!

 

EXTERNAL:s3에 있는 기본 데이터 파일을 기반으로 지정

IF NOT EXISTS: table_name이 있으면 오류 메시지가 출력 안되게끔 설정

ROW FORAMAT: 테이블의 행 형식과 기본 소스 데이터를 지정

LOCATION: S3의 기본 데이터 위치 ( 버킷 이름 또는 폴더)

TBLPROPERTIES: 사전 정의된 테이블 속성 외 테이블 정의에 사용할 사용자 지정 메타데이터 키-값 지정

그 외 data 타입은 너무 많아서 아래 링크 참조해주세요~!~!

https://docs.aws.amazon.com/ko_kr/athena/latest/ug/tables-databases-columns-names.html

 

이런식으로 생성이 완료된것을 확인할수 있습니다!

이제 생성된 테이블을 바탕으로 sql문을 작성하면 원하는 데이터 수집이 s3에서 가져와서 읽을수 있습니다.

 

 

 

 

---

이만 다음차시에 볼게요~!