[AWS] AWS DataSync-EFS

베하 !

날씨가 많이 추워졌는데 다들 잘 지내실까요?

장갑과 목도리는 필수입니다!

최근 Data migration과 관련된 문의가 있었는데요, 이번 시간에는 관련하여 DataSync를 알아보겠습니다

DataSync 사용 서비스 중 EFS에 대해서도 자세히 알아볼게요

팔로미 ~~~

---

1. DataSync 란?

: 안전한 데이터 마이그레이션의 간소화 및 가속화

AWS DataSync데이터 마이그레이션을 간소화하고 AWS 스토리지 서비스 간에 파일 또는 개체 데이터를 빠르고 쉽고 안전하게 전송할 수 있도록 지원하는 온라인 데이터 이동 및 검색 서비스입니다.

 

2. 작동 방식

2-1. 온프레미스와 AWS 간 데이터 전송

: AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다.

DataSync는 Network File System(NFS) 공유, Server Message Block(SMB) 공유, Hadoop 분산 파일 시스템(HDFS), 자체 관리형 객체 스토리지, AWS Snowcone, Amazon Simple Storage Service(S3) 버킷, Amazon Elastic File System(Amazon EFS) 파일 시스템, Amazon FSx for Windows File Server 파일 시스템, Amazon FSx for Lustre 파일 시스템 및 Amazon FSx OpenZFS 파일 시스템 및 Amazon FSx for NetApp ONTAP 파일 시스템 간에 데이터를 복사할 수 있습니다.

2-2. AWS 스토리지 서비스 간 데이터 전송

: AWS DataSync는 애플리케이션 데이터를 쉽게 복제, 아카이브 또는 공유할 수 있도록 AWS 스토리지 서비스 사이에서 데이터를 전송하는 데에도 사용됩니다.

 

2-3. AWS와 기타 위치 간 데이터 전송

: AWS DataSync는 다른 퍼블릭 클라우드와 AWS 스토리지 서비스 간의 데이터 이동을 지원합니다.

 

 

3. 사용 사례

• 데이터 검색 — 온프레미스 스토리지 성능 및 활용도를 파악할 수 있습니다. AWS DataSync Discovery또한 데이터를 AWS 스토리지 서비스로 마이그레이션하기 위한 권장 사항을 제공할 수 있습니다.
• 데이터 마이그레이션 — 네트워크를 통해 활성 데이터 세트를 AWS 스토리지 서비스로 빠르게 이동합니다. DataSync자동 암호화 및 데이터 무결성 검증이 포함되어 있어 데이터가 안전하고 손상되지 않고 바로 사용할 수 있도록 합니다.
• 콜드 데이터 아카이브 — 온프레미스 스토리지에 저장된 콜드 데이터를 S3 Glacier Flexier Flexier Retrieval 또는 S3 Glacier Deep Archive와 같은 안정적이고 안전한 장기 스토리지 클래스로 직접 이동합니다. 이렇게 하면 온프레미스 스토리지 용량을 확보하고 레거시 시스템을 종료할 수 있습니다.
• 데이터 복제 — 요구 사항에 가장 비용 효율적인 스토리지 클래스를 선택하여 데이터를 원하는 Amazon S3 스토리지 클래스에 복사합니다. 또한 Amazon EFS, FSx for Windows File Server, Lustre용 FSx 또는 스탠바이 파일 시스템의 경우 OpenZFS용 FSx로 데이터를 전송할 수 있습니다.
• 시기 적절한 클라우드 내 처리를 위한 데이터 이동 — 처리를 AWS 위해 데이터를 내부 또는 외부로 이동합니다. 이러한 접근 방법은 많은 산업 분야에서 중요한 하이브리드 클라우드 워크플로우를 가속화할 수 있습니다. 여기에는 생명 과학 산업의 기계 학습, 미디어 및 엔터테인먼트 분야의 비디오 제작, 금융 서비스의 빅 데이터 분석, 석유 및 가스 산업의 지진 연구 등이 포함됩니다.

 

4. 이점

• 마이그레이션 계획 간소화 — DataSync Discovery는 자동화된 데이터 수집 및 권장 사항을 통해 데이터 마이그레이션을 계획하는 데 드는 시간, 노력 및 비용을 최소화할 수 있습니다. AWS 권장 사항을 사용하여 예산 계획을 수립하고 검색 작업을 다시 실행하여 마이그레이션에 가까워짐에 따라 가정을 검증할 수 있습니다.
• 데이터 이동 자동화 — 네트워크를 통해 스토리지 시스템과 서비스 간에 데이터를 DataSync 쉽게 이동할 수 있습니다. DataSync고성능 및 안전한 데이터 전송에 필요한 데이터 전송 프로세스 및 인프라 관리를 모두 자동화합니다.
• 안전한 데이터 전송 — 암호화 및 무결성 검증을 비롯한 엔드 투 엔드 보안을 DataSync 제공하여 데이터가 안전하고 손상되지 않고 바로 사용할 수 있도록 합니다. DataSyncAWS Identity and Access Management(IAM) 역할과 같은 내장된 AWS 보안 메커니즘을 통해 AWS 스토리지에 액세스합니다. 또한 가상 사설 클라우드 (VPC) 엔드포인트를 지원하므로 공용 인터넷을 거치지 않고 데이터를 전송할 수 있으며 온라인으로 복사되는 데이터의 보안을 더욱 강화할 수 있습니다.
• 데이터 이동 속도 향상 — 특별히 구축된 네트워크 프로토콜과 parallel 멀티스레드 아키텍처를 DataSync 사용하여 전송을 가속화합니다. 이 접근 방식은 마이그레이션, 분석 및 기계 학습을 위한 반복되는 데이터 처리 워크플로우, 데이터 보호 프로세스를 가속화합니다.
• 운영 비용 절감 — 기가바이트당 고정 가격 책정으로 데이터를 비용 효율적으로 이동할 수 있습니다. DataSync 사용자 지정 스크립트를 작성 및 유지 관리하거나 값비싼 상용 전송 도구를 사용할 필요가 없습니다.

 

---

A. Amazon EFS 사용한 AWS DataSync 전송 구성

"AWS 아티클 중 일부 발췌"

이제 AWS DataSync를 사용하여 서로 다른 AWS 리전에 있는 파일 시스템 및 각기 다른 AWS 계정 소유의 파일 시스템을 포함하여 두 Amazon Elastic File System(Amazon EFS) 리소스 간에 효율적이면서도 안전하게 파일을 자동으로 복사할 수 있습니다.

 

Amazon EFS 파일 시스템에서 데이터를 전송하거나 Amazon EFS 파일 시스템에서 데이터를 전송하려면 AWS DataSync 전송 위치를 만들어야 합니다. DataSync이 위치를 데이터 전송을 위한 소스 또는 대상으로 사용할 수 있습니다.

 

AWS DataSync를 사용하여 Amazon EFS 파일 시스템 간에 데이터를 복사하기 시작하려면 먼저 원본 파일 시스템에 대한 액세스 권한이 있는 VPO 내에서 DataSync 에이전트를 Amazon EC2 인스턴스로 배포합니다.  웹 브라우저를 사용하여 AWS DataSync 에이전트를 활성화한 후에는 Amazon EFS를 대상 AWS 스토리지로 선택하고 파일 시스템 세부 정보를 입력한 후 데이터 이동을 시작합니다. 

 

B. 구성 방법

 

[소스 계정]
- VPC Peering : 대상 VPC와 피어링을 연결합니다.
- DataSync Agent EC2 생성[2]
- Agent 연결용 일회성 Windows server 생성 : AWS 콘솔에서 대상 계정 접속 후 Agent EC2 키 가져오기 작업 진행

[대상 계정]
- VPC Peering : 소스 VPC와 피어링을 연결합니다.
- VPC Endpoint : DataSync용 엔드포인트를 생성합니다.
- DataSync 위치 및 태스크 생성 : 소스 위치(NFS) / 대상 위치(EFS) 설정
- DataSync 시작

 

C. 세부 구성 내용

[작업 진행 순서]

1) 소스 계정에서 DataSync Agent용 ami를 이용하여 EC2 생성[1]

2) 소스 계정에서 퍼블릭 서브넷에 Windows 서버 생성

  - Windows 서버를 생성하는 퍼블릭 서브넷과 피어링이 연결되도록 라우팅 설정 필요

--- 

3) 소스 계정의 Windows 서버에 접속하여 웹사이트 오픈

4) AWS Console - 대상 계정에 로그인

5) 대상 계정 콘솔에서 DataSync 에이전트 탭 클릭

6) 소스 계정에서 만들어 둔 DataSync용 EC2 프라이빗 IP를 기입하여 DataSync 에이전트 활성화 진행

  - 활성화 프로세스를 수행하려면 브라우저에서 에이전트의 포트 80에 액세스할 수 있도록 inbound 포트 80 추가 필요 

7) DataSync Agent 활성화 완료 확인 (... 이후 Windows 서버는 사용하지 않습니다.)

---  3~7) 단계는 소스 계정의 Windows 서버 내 웹사이트에서 AWS Console으로 대상 계정에 접속한 상태에서 진행됩니다.

8) 대상 계정에서 DataSync 태스크 생성 진행

====

[참고 문서]
[1] Amazon EC2에 에이전트 배포
https://docs.aws.amazon.com/datasync/latest/userguide/deploy-agents.html#ec2-deploy-agent

Deploy your AWS DataSync agent - AWS DataSync

 

 

---

여기까지 DataSync 그리고 EFS 까지 함께 알아보았습니다!

연결하는 과정에서 줄글로 된 부분이 많다보니 헷갈리실 수도 있어 구성 방법을 정리해 두었습니다.

내일도 화이팅입니다!!!!!!

베빠 !