Kinesis1 [AWS] 실시간 데이터 파이프라인 구축(1) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS를 기반으로 실시간 데이터 파이프라인을 구축해보겠습니다. 실습 과정부터 설명드리겠습니다. 실습 진행을 위한 IoT 데이터는 Kinesis Data Generator를 이용해 실시간 데이터를 생성하는 것으로 대체합니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Ama.. 2023. 9. 22. 이전 1 다음
