AWS S3 버킷ID, KEY 대용량 데이터 전달

안녕하세요 진상팀입니다. 

이번 포스팅은 조금 요청식으로 적겠습니다. 

빅데이터 운영 업무를 볼 때 타 부서에서 데이터 jira 및 티켓으로 요청이 올 때 정해진 S3 디렉터리 및 jira로 업로드하는 것이 대부분이다.

하지만 10GB이상되는 대용량일 땐 타 부서의 요청으로 다른 방식으로 업로드를 할 때가 있을 수도 있다.

 

제목과 같이 S3 Bucket 으로 대용량 데이터를 전달한다.

 

 

AWS 공식문서 참고

 

1. AWS CLI 설치

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html

최신 버전의 AWS CLI 설치 또는 업데이트 - AWS Command Line Interface

 

2. 타부서에서 전달받은 ID key 리전 json 입력

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-quickstart.html

빠른 설정 - AWS Command Line Interface

3. CLI다운 후 cmd 나 mobaXterm 같은 툴로 " aws configure " 후 엔터를 한 줄씩 치면 위 이미지와 같이 나온다.

    그 후 연결이 됐다는 문구가 나오면 타 부서 및 고객사의의 S3연결이 되었다.

 

4. 연결 되면 원하는 버킷 디렉터리에 cp 명령어로 카피업로드 한다.
   aws s3 cp temp.txt s3://s3-an2-**-h******pf-bucket-**/**t_d***/tmp_a*******ow_***a/***_***/

   위와 같은 형식으로 타 부서 및 고객사에서 aws s3 버킷 주소를 주고 원하는 파일 및 압축 폴더를 복사해서 붙여 넣는다.

 

5. 버킷에 업로드한 디렉터리 확인
     aws s3 ls s3://s3-an2-**-h******pf-bucket-**/**t_d***/tmp_a*******ow_***a/***_***/

 

6. 확인 후 중요한 자료이면 티켓 및 jira에서 다운로드하였다는 요청사항을 받고 난 후 rm 명령어로 지우면 된다