Glue5 [AWS] Glue 베하! 안녕하세요 오늘은 AWS Glue에 대해 알아 보겠습니다. AWS Glue란? AWS Glue는 분석, 기계 학습(ML) 및 애플리케이션 개발을 위해 여러 소스에서 데이터를 쉽게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스입니다. AWS Glue를 사용하면 새 데이터가 도착하는 대로 추출, 전환, 적재(ETL) 작업을 실행할 수 있습니다. 예를 들어 Amazon S3에서 새 데이터를 사용할 수 있게 되는 즉시 실행할 ETL 작업을 시작하도록 AWS Glue를 구성할 수 있습니다. 데이터 카탈로그를 사용하면 데이터를 이동하지 않고도 여러 AWS 데이터 세트 전체에서 신속하게 데이터를 검색할 수 있습니다. 일단 데이터가 카탈로그에 저장되면 Amazon Ath.. 2023. 11. 24. [AWS] 실시간 데이터 파이프라인 구축(2) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS 기반 실시간 데이터 파이프라인을 이어서 구축해보겠습니다. 실습 과정입니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Amazon S3에 저장합니다. Glue Data Catalog : 실시간 유입되는 데이터들을 처리하기 위해 데이터의 스키마 형식을 Glue Dat.. 2023. 10. 6. [AWS] 실시간 데이터 파이프라인 구축(1) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS를 기반으로 실시간 데이터 파이프라인을 구축해보겠습니다. 실습 과정부터 설명드리겠습니다. 실습 진행을 위한 IoT 데이터는 Kinesis Data Generator를 이용해 실시간 데이터를 생성하는 것으로 대체합니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Ama.. 2023. 9. 22. [AWS] AWS Glue 베하 ~! 이번 시간도 수 지 타 산 입니다. 더워지는 날씨와 함께 더위와 냉방병 조심하셔야 겠어요 ~~ AWS Glue 서비스에 대해 다뤄 볼텐데 개요부터 기능과 FAQ까지 함께 해보아요. 팔로팔로팔로미 ~~~~~~~~ AWS Glue란? AWS Glue는 분석, 기계 학습(ML) 및 애플리케이션 개발을 위해 여러 소스에서 데이터를 쉽게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스입니다. AWS Glue를 사용해야 하는 이유는 무엇인가요? 분석 또는 ML 프로젝트의 첫 번째 단계는 품질 좋은 결과가 나오도록 데이터를 준비하는 것입니다. AWS Glue는 더 저렴한 비용으로 더 간편하고 빠르게 데이터를 준비할 수 있는 서버리스 데이터 통합 서비스입니다. 70개 .. 2023. 6. 9. [AWS] Glue 💙베하💙 누구든 탑승할 수 있는 유임승차 팀입니다!!💨😉 지난주에 이어 이번 주에는 aws의 Glue에 대해서 알아보았습니다! 맨 처음! Glue는 무엇인가? 부터 시작하겠습니다. AWS Glue란? AWS Glue란 fully managed 서비스로 데이터를 데이터 원천으로부터 추출하고, Amazon S3와 같은 다른 AWS 서비스로 데이터를 가공하고 이동시키기 위한 서비스들로 구성되어 있습니다. 구성하고 있는 서브 모듈들을 살펴보면 아래와 같습니다: AWS Glue ETL: 다양한 저장소에서 데이터를 입수, 가공하고 다른 목적지에 저장함 AWS Glue Catalog: 영속적인 메타데이터 저장소로 메타데이터의 저장, 추가 정보 기록, 퍼블리싱 기능을 제공 AWS Glue Data Brew: 데이터분석.. 2022. 5. 23. 이전 1 다음
