firehose2 [AWS] 실시간 데이터 파이프라인 구축(5) 탑신병자 듀오 팀 티모입니다. 지난 시간에 이어 Kinesis Data Generator로 데이터를 생성, Kinesis Data Firehose가 Amazon Opensearch에 데이터를 저장하는 것부터 구현해보겠습니다. Module 1에서 생성한 Kinesis Data Generator로 이동합니다. 데이터를 수신하는 대상으로 'iot-data-stream-2'를 지정, 초당 레코드 수는 10개로 지정합니다. 데이터 형식은 아래와 같이 지정 후 send data를 클릭 데이터를 전송합니다. { "uuid": "{{random.uuid}}", "device_ts": "{{date.utc("YYYY-MM-DD HH:mm:ss.SSS")}}", "device_id": {{random.number(50)}.. 2023. 11. 13. [AWS] 실시간 데이터 파이프라인 구축(4) 탑신병자 듀오 팀 티모입니다. AWS 실시간 데이터 파이프라인을 구축한 후, 대시보드를 통해 실시간 모니터링하는 아키텍처를 구현해보겠습니다. 실습 과정입니다. 1 - Kinesis Data Streams : IoT 로그들을 Kinesis Data Streams의 버퍼 스토리지에 안전하게 수집합니다. 수집된 데이터들은 Kinesis 내 샤드에 저장되게 되고, 로그를 소비할 사용자들은 샤드에 저장된 데이터들을 가져갑니다. 2 - Kinesis Data Firehose : Kinesis Data Streams에 저장된 실시간 로그들을 설정한 버퍼 사이즈 또는 시간 주기에 따라 데이터들을 수집합니다. 수집한 데이터들은 Lambda를 통해 데이터를 추가 및 정제합니다. 정제한 데이터들은 Amazon OpenSea.. 2023. 11. 1. 이전 1 다음
