데이터파이프라인5 [AWS] 실시간 데이터 파이프라인 구축(5) 탑신병자 듀오 팀 티모입니다. 지난 시간에 이어 Kinesis Data Generator로 데이터를 생성, Kinesis Data Firehose가 Amazon Opensearch에 데이터를 저장하는 것부터 구현해보겠습니다. Module 1에서 생성한 Kinesis Data Generator로 이동합니다. 데이터를 수신하는 대상으로 'iot-data-stream-2'를 지정, 초당 레코드 수는 10개로 지정합니다. 데이터 형식은 아래와 같이 지정 후 send data를 클릭 데이터를 전송합니다. { "uuid": "{{random.uuid}}", "device_ts": "{{date.utc("YYYY-MM-DD HH:mm:ss.SSS")}}", "device_id": {{random.number(50)}.. 2023. 11. 13. [AWS] 실시간 데이터 파이프라인 구축(4) 탑신병자 듀오 팀 티모입니다. AWS 실시간 데이터 파이프라인을 구축한 후, 대시보드를 통해 실시간 모니터링하는 아키텍처를 구현해보겠습니다. 실습 과정입니다. 1 - Kinesis Data Streams : IoT 로그들을 Kinesis Data Streams의 버퍼 스토리지에 안전하게 수집합니다. 수집된 데이터들은 Kinesis 내 샤드에 저장되게 되고, 로그를 소비할 사용자들은 샤드에 저장된 데이터들을 가져갑니다. 2 - Kinesis Data Firehose : Kinesis Data Streams에 저장된 실시간 로그들을 설정한 버퍼 사이즈 또는 시간 주기에 따라 데이터들을 수집합니다. 수집한 데이터들은 Lambda를 통해 데이터를 추가 및 정제합니다. 정제한 데이터들은 Amazon OpenSea.. 2023. 11. 1. [AWS] 실시간 데이터 파이프라인 구축(3) 탑신병자 듀오 팀 티모입니다. AWS 기반 실시간 데이터 파이프라인을 이어서 구축해보겠습니다. 실습 과정입니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Amazon S3에 저장합니다. Glue Data Catalog : 실시간 유입되는 데이터들을 처리하기 위해 데이터의 스키마 형식을 Glue Data Ca.. 2023. 10. 16. [AWS] 실시간 데이터 파이프라인 구축(2) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS 기반 실시간 데이터 파이프라인을 이어서 구축해보겠습니다. 실습 과정입니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Amazon S3에 저장합니다. Glue Data Catalog : 실시간 유입되는 데이터들을 처리하기 위해 데이터의 스키마 형식을 Glue Dat.. 2023. 10. 6. [AWS] 실시간 데이터 파이프라인 구축(1) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS를 기반으로 실시간 데이터 파이프라인을 구축해보겠습니다. 실습 과정부터 설명드리겠습니다. 실습 진행을 위한 IoT 데이터는 Kinesis Data Generator를 이용해 실시간 데이터를 생성하는 것으로 대체합니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Ama.. 2023. 9. 22. 이전 1 다음
