OpenSearch3 [AWS] 실시간 데이터 파이프라인 구축(5) 탑신병자 듀오 팀 티모입니다. 지난 시간에 이어 Kinesis Data Generator로 데이터를 생성, Kinesis Data Firehose가 Amazon Opensearch에 데이터를 저장하는 것부터 구현해보겠습니다. Module 1에서 생성한 Kinesis Data Generator로 이동합니다. 데이터를 수신하는 대상으로 'iot-data-stream-2'를 지정, 초당 레코드 수는 10개로 지정합니다. 데이터 형식은 아래와 같이 지정 후 send data를 클릭 데이터를 전송합니다. { "uuid": "{{random.uuid}}", "device_ts": "{{date.utc("YYYY-MM-DD HH:mm:ss.SSS")}}", "device_id": {{random.number(50)}.. 2023. 11. 13. [AWS] 실시간 데이터 파이프라인 구축(4) 탑신병자 듀오 팀 티모입니다. AWS 실시간 데이터 파이프라인을 구축한 후, 대시보드를 통해 실시간 모니터링하는 아키텍처를 구현해보겠습니다. 실습 과정입니다. 1 - Kinesis Data Streams : IoT 로그들을 Kinesis Data Streams의 버퍼 스토리지에 안전하게 수집합니다. 수집된 데이터들은 Kinesis 내 샤드에 저장되게 되고, 로그를 소비할 사용자들은 샤드에 저장된 데이터들을 가져갑니다. 2 - Kinesis Data Firehose : Kinesis Data Streams에 저장된 실시간 로그들을 설정한 버퍼 사이즈 또는 시간 주기에 따라 데이터들을 수집합니다. 수집한 데이터들은 Lambda를 통해 데이터를 추가 및 정제합니다. 정제한 데이터들은 Amazon OpenSea.. 2023. 11. 1. [AWS] Opensearch 안녕하세요 맥썸입니다. 이번 포스팅은 AWS Service에서 Opensearch 라고 불리는 ElasticSearch를 소개하도록 하겠습니다. Opensearch는 검색 엔진이라고 하며 보편적으로 로그를 분석할때 사용 됩니다. 저장 또는 검색, 분석을 위해 단독적으로 사용되기도 하며 저번 포스팅의 ELK 스택으로도 사용되기도 합니다. 🔷 구조 Cluster: 가장 큰 시스템 단위, 최소 하나 이상의 노드로 이뤄진 노드의 집합 Node: 클러스터에 포함된 단일 서버로 클러스터의 검색 기능 참여 Master node: 인덱스의 데이터, 샤드의 위치와 같은 클러스터 상태 정보를 관리하는 역할 (설정에서 node.data:false하면 마스터 노드가 되어 클러스터만 관리 가능) Data node: 실제로 색인.. 2022. 8. 10. 이전 1 다음
