Athena4 [AWS] 실시간 데이터 파이프라인 구축(2) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS 기반 실시간 데이터 파이프라인을 이어서 구축해보겠습니다. 실습 과정입니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Amazon S3에 저장합니다. Glue Data Catalog : 실시간 유입되는 데이터들을 처리하기 위해 데이터의 스키마 형식을 Glue Dat.. 2023. 10. 6. [AWS] Athena 베하 이번 시간에도 수 지 타 산 입니다~~~!! 빠르게 여름이 오고 있나봐요 더워지기 전에 다들 피크닉 어떠신가요? 저번 시간 DataSync를 다루어 보았구요, 이번 시간에는 새로운 서비스 AWS Athena에 대하여 알아보아요! 팔로팔로팔로미 ~~~~ AWS Athena 란? Amazon Athena는 표준 SQL을 사용하여 Amazon S3(Amazon Simple Storage Service)에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. AWS Management Console에서 몇 가지 작업을 수행하면 Athena에서 Amazon S3에 저장된 데이터를 지정하고 표준 SQL을 사용하여 임시 쿼리를 실행하여 몇 초 안에 결과를 얻을 수 있습니다. Amazon Ath.. 2023. 5. 28. AWS - Athena (3) 안녕하세요 BTC_막내가 최고야팀입니다 Athena 마지막 챕터! 이전에는 메인화면도 알아보고 테이블 생성도 해보았는데요 이번엔 데이터 추출 부분 확인해보겠습니다! 데이터 조회에 앞서 DML DDL DCL TCL 좀 알아보는 시간을 가지고 시작해볼게요 1. DML 데이터 조작어 데이터베이스에 들어 있는 데이터를 조회하거나 검색하기 위한 명령어를 총칭 데이터베이스의 테이블에 들어있는 데이터에 변형을 가하는 종류의 명령어를 총칭 insert update delete select 2. DDL(Data Definition Language) 테이블과 같은 데이터 구조를 정의하는데 사용되는 명령어들의 총칭 데이터 구조와 관련된 명령어들 Create alter drop rename truncate 3. DCL (da.. 2022. 12. 16. AWS Athena 란? 베하~ 안녕하세요! BTC_베짱이팀 입니다. 오늘은 "AWS Athena"에대해 알아보겠습니다!! AWS Athena 란 Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하면 됩니다. 수 많은 장점을 가진 AWS Athena 서버리스. 인프라 없음. 관리 필요 없음 Amazon Athena는 서버리스 서비스이므로 관리할 인프라가 없습니다. 사용자 수와 데이터 세트의 증가에 따른 인프라 구성, 소프트웨어 업데이트, 장애 또는 확장에 대해 걱정할 필요가 없습니다. Athena에서 이 모든 작업을 자동으로 처리하므로 사용자는 인프라.. 2022. 6. 23. 이전 1 다음
