[AWS] DataSync

베하 ~~~~

오늘도 수 지 타 산 입니다!!

일교차가 커진 요즘이네요.

감기조심! 힘내서 가볼까요??

이번 시간에는 DataSync에 대하여 알아볼게요.

AWS DataSync

---

1. AWS DataSync란?

AWS DataSync는 AWS로의 데이터 마이그레이션을 간소화 및 가속화하고
온프레미스 스토리지, 엣지 로케이션, 다른 클라우드 및 AWS 스토리지 간에 데이터를
빠르고 안전하게 이동하는 데 도움이 되는 온라인 데이터 이동 및 검색 서비스입니다.

  

 

2. DataSync 작동 방식

2-1. 온프레미스

AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서

데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다.

 

온프레미스와 AWS 간 데이터 전송

 

2-2. AWS 스토리지 서비스

AWS DataSync는 애플리케이션 데이터를 쉽게 복제, 아카이브 또는 공유할 수 있도록

AWS 스토리지 서비스 사이에서 데이터를 전송하는 데에도 사용됩니다.

AWS 스토리지 서비스 간 데이터 전송

 

2-3. 기타 위치

AWS DataSync는 다른 퍼블릭 클라우드와 AWS 스토리지 서비스 간의 데이터 이동을 지원합니다.

AWS와 기타 위치 간 데이터 전송

 

 

3. DataSync 사용 사례

데이터 마이그레이션

• 빠르게 AWS로 파일 및 객체 데이터를 이동
• 이동 중 암호화 및 포괄적인 데이터 검증을 통해 데이터를 보안

데이터 보호

• 비용 효율적인 AWS 스토리지 서비스로 안전하게 데이터를 복제

콜드 데이터 아카이브

• Amazon S3 Glacier 아카이브 스토리지 클래스로 직접 데이터를 이동 
• 온프레미스 스토리지 비용 절감

하이브리드 데이터 워크플로 관리

• 워크플로 가속화하도록 데이터를 원활하게 이동

 

 

4. AWS 스토리지 간 이동

지원하는 AWS 스토리지 서비스는?

Amazon Simple Storage Service(S3)
Amazon Elastic File System(Amazon EFS)
Amazon FSx for Windows File Server
Amazon FSx for Lustre 
Amazon FSx for OpenZFS
Amazon FSx for NetApp ONTAP

 

4-1. Amazon EFS

Amazon EFS는 Linux 기반의 워크로드를 AWS 클라우드 서비스와 온프레미스 리소스에서 사용할 수 있도록
간단하고 확장 가능하며 탄력적인 파일 시스템을 제공합니다.

 

1) 환경에 에이전트를 다운로드 및 배포하고 활성화합니다.

먼저 원본 파일 시스템에 대한 액세스 권한이 있는 VPO 내에서

DataSync 에이전트를 Amazon EC2 인스턴스로 배포합니다. 

 

2) 소스 및 대상 위치를 만들고 구성합니다.

웹 브라우저를 사용하여 AWS DataSync 에이전트를 활성화한 후에는

Amazon EFS를 대상 AWS 스토리지로 선택하고 파일 시스템 세부 정보를 입력한 후 데이터 이동을 시작합니다.

 

3) 작업을 만들고 구성합니다.

 

4) 작업을 실행하여 원본에서 대상으로 파일을 전송합니다.

 

(AWS DataSync 에이전트의 배포 및 구성을 간소화하기 위해 AWS DataSync In-cloud Transfer Quick Start 및 Scheduler를 사용할 수도 있습니다.)

 

[FAQ]

Q: AWS DataSync에서 Amazon EFS 파일 시스템에 액세스하려면 어떻게 해야 하나요?

A: AWS DataSync는 NFS 프로토콜을 사용하여 Amazon EFS 파일 시스템에 액세스합니다.

DataSync 서비스는 DataSync 서비스에서 관리하는 ENI(탄력적 네트워크 인터페이스)를 통해 VPC 내에 파일 시스템을 탑재합니다.

DataSync는 사용자를 대신하여 이러한 ENI의 생성, 사용 및 삭제를 모두 관리합니다. 

탑재 대상 또는 EFS 액세스 포인트를 사용하여 EFS 파일 시스템을 탑재하도록 선택할 수 있습니다.

 

Q: NFS 공유 및 Amazon EFS 간 또는 두 Amazon EFS 파일 시스템 간에 데이터를 복사할 때 어떤 메타데이터가 보존됩니까?

A: AWS DataSync는 파일 및 폴더 타임스탬프와 POSIX 권한(사용자 ID, 그룹 ID 및 권한 포함)을 복사합니다. 

 

Q: HDFS와 Amazon EFS 간에 데이터를 복사할 때 보존되는 메타데이터는 무엇입니까?

A: AWS DataSync는 파일 및 폴더 타임스탬프와 POSIX 권한을 복사하고

사용자 ID 및 그룹 ID에 대해 기본값을 적용합니다. 

 

---

자 ~ 여기까지 AWS DataSync를 알아보았어요.

기본적인 개념부터 사용되는 서비스 예시와 함께 보았는데

이해가 잘 되셨을까요~?

다음 시간에도 유익한 정보로 만나요.

함께 해요 ~~~~~~~