[AWS] DataSync & Snowball

                                                                                        베하 ~~~~!

이번 시간에도 서 지 타 산 입니다 !!

AWS DataSync와 snowball 서비스를 아시나요?

이번 시간에는 온프렘 데이터를 Amazon S3로

데이터 이관하는 방법을 학습합시다.

팔로팔로팔로미 ~~~~~~~

---

 

 

 

1. DataSync 

DataSync의 경우 AWS 와의 네트워크 연결을 위해 Direct Connect 혹은 VPN과 같은 네트워크 서비스가 수반됩니다.
따라서 Onprem과 AWS간 네트워크가 온라인 상태에서 온프렘에 Datasync를 위한 Agent를 설치하여 데이터 이관을 위한 source/destination을 정리한 후 Task를 수행하는 방식으로 데이터를 이관하게 됩니다.

 

• Datasync 아키텍처 - 온프레미스

1-1. 그럼 Datasync Agent 설치 과정을 알려주세요.

1. DataSync를 웹 콘솔을 통해 만들기 위해 Agent - Create Agent로 갑니다.

2. 여기에서 VMWare ESXi, KVM, Hyper-V, EC2 넷 중에 하나의 형태의 이미지를 선택할 수 있게 됩니다.
     VMWare로 예시를 들면 OVA파일을 다운받게 됩니다. zip으로 압축되어 있습니다.

3. 이 이미지를 on-prem의 ESXi와 같은 가상화 서버에 VM으로 import과정을 거쳐 VM을 만드시면 됩니다.

4. 간단히 해당 Agent의 인증과정을 마치고 나면 AWS 웹콘솔에서 해당 Agent가 등록되고 연결상태가 보이게 됩니다.

5. 이제 남은일은 Source와 Destination을 만들어 task를 등록하는 것입니다.

6. Source에는 NAS의 SMB 혹은 NFS정도로 구성하시면 됩니다. Destination은 S3 bucket이 됩니다.

7. 이 정보를 이용해 task를 만들어 진행하시면 됩니다.  Source의 내용이 Destination으로 Sync를 하게 됩니다.

 

1-2. DataSync 에이전트는 rpm 형식을 지원하나요?

Agent는 여러 형태의 VM 이미지로 제공됩니다. 혹은 EC2 Instance로도 사용 가능합니다.

DataSync Agent는 어플라이언스 형태로 이미 설계된 서버로써 요구된 기능에 맞게 구성되어 있으며,

소프트웨어를 RPM 형태로 설치하여 개입할 수 없습니다.

 

따라서 해당 서버를 사용하여 DataSync 기능을 활용할 수 있지만,

고객이 직접적으로 Linux를 설치하거나 추가적인 패키지를 설치하는 등의 작업을 수행할 수 없습니다.

 

2. Snowball 

Snowball의 경우 네트워크 없이도 데이터를 이관할 수 있습니다.
이 경우 aws쪽으로 snowball 장비를 주문하면 배송업체를 통해 고객에게 snowball이 전달 되고 snowball로 데이터를 복제한 후 다시 aws쪽으로 전달해 주시면 aws쪽에서 S3로 데이터를 옮겨드리는 방식 입니다.

 

• Snowball 아키텍처

Snowball 서비스가 Datasync와 다른 부분이 무엇인가요?

보통 수십TB 이상의 대용량 데이터를 옮길 때 많이들 활용하고 계십니다.

주문 후 배송 까지 약 4~6일 정도 소요되기 때문에 이 부분은 데이터 이관 시일이 촉발할 경우 고려해야 할 사안입니다.

 

 

---

                                                    여기까지 Datasync, Snowball 에 대해 간단히 알아봤습니다.

                                                                    두개의 구조와 차이를 잘 알고
                                                            알맞은 제품을 사용하는게 중요하겠습니다
                                                                        그럼 다음 주에도 만나요!