탑신병자35 [AWS] 실시간 데이터 파이프라인 구축(5) 탑신병자 듀오 팀 티모입니다. 지난 시간에 이어 Kinesis Data Generator로 데이터를 생성, Kinesis Data Firehose가 Amazon Opensearch에 데이터를 저장하는 것부터 구현해보겠습니다. Module 1에서 생성한 Kinesis Data Generator로 이동합니다. 데이터를 수신하는 대상으로 'iot-data-stream-2'를 지정, 초당 레코드 수는 10개로 지정합니다. 데이터 형식은 아래와 같이 지정 후 send data를 클릭 데이터를 전송합니다. { "uuid": "{{random.uuid}}", "device_ts": "{{date.utc("YYYY-MM-DD HH:mm:ss.SSS")}}", "device_id": {{random.number(50)}.. 2023. 11. 13. [AWS] 실시간 데이터 파이프라인 구축(4) 탑신병자 듀오 팀 티모입니다. AWS 실시간 데이터 파이프라인을 구축한 후, 대시보드를 통해 실시간 모니터링하는 아키텍처를 구현해보겠습니다. 실습 과정입니다. 1 - Kinesis Data Streams : IoT 로그들을 Kinesis Data Streams의 버퍼 스토리지에 안전하게 수집합니다. 수집된 데이터들은 Kinesis 내 샤드에 저장되게 되고, 로그를 소비할 사용자들은 샤드에 저장된 데이터들을 가져갑니다. 2 - Kinesis Data Firehose : Kinesis Data Streams에 저장된 실시간 로그들을 설정한 버퍼 사이즈 또는 시간 주기에 따라 데이터들을 수집합니다. 수집한 데이터들은 Lambda를 통해 데이터를 추가 및 정제합니다. 정제한 데이터들은 Amazon OpenSea.. 2023. 11. 1. 서버리스 컴퓨팅과 FaaS (Function as a Service) 베하~! 탑신병자 듀오 팀 나르 입니다! 이번 포스팅에서는 서버리스 컴퓨팅과 FaaS (Function as a Service)에 대해서 알아보도록 하겠습니다 서버리스 컴퓨팅란? 개발자가 서버 인프라를 프로비저닝하거나 관리하지 않고 애플리케이션을 실행할 수 있는 컴퓨팅 모델 단순히 코드를 업로드하고, 해당 코드가 특정 이벤트나 요청에 응답하도록 설정할 수 있습니다. => 이러한 방식으로 서버 관리나 인프라 구성에 대한 걱정 없이 애플리케이션을 실행할 수 있습니다. FaaS (Function as a Service란? 서버리스 컴퓨팅의 구현 방식 중 하나로, 함수 수준의 컴퓨팅 리소스를 제공합니다 개발자는 작은 기능 또는 함수를 작성하고, 해당 함수를 특정 이벤트에 바인딩할 수 있습니다 이러한 함수는 필요.. 2023. 10. 27. [AWS] 실시간 데이터 파이프라인 구축(3) 탑신병자 듀오 팀 티모입니다. AWS 기반 실시간 데이터 파이프라인을 이어서 구축해보겠습니다. 실습 과정입니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Amazon S3에 저장합니다. Glue Data Catalog : 실시간 유입되는 데이터들을 처리하기 위해 데이터의 스키마 형식을 Glue Data Ca.. 2023. 10. 16. AWS 인증 및 보안 베하~! 탑신병자 듀오 팀 나르 입니다! 이번 포스팅에서는 AWS 인증 및 보안에 대해서 알아보도록 하겠습니다 AWS 인증 AWS IAM (Identity and Access Management) - AWS Identity and Access Management (IAM)은 AWS 리소스에 대한 사용자 액세스를 안전하게 관리할 수 있게 해주는 중요한 도구 사용자 관리: 새로운 사용자를 생성하고 기존 사용자를 관리합니다. 비밀번호 정책을 설정하여 암호의 강도를 유지하고, 다중 인증(Multi-Factor Authentication, MFA)을 활성화하여 보안을 강화 그룹과 정책: 그룹을 통해 권한을 관리하고, 정책(Policy)을 사용하여 특정 리소스에 대한 액세스를 허용하거나 거부할 수 있다 역할(Rol.. 2023. 10. 13. [AWS] 실시간 데이터 파이프라인 구축(2) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS 기반 실시간 데이터 파이프라인을 이어서 구축해보겠습니다. 실습 과정입니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Amazon S3에 저장합니다. Glue Data Catalog : 실시간 유입되는 데이터들을 처리하기 위해 데이터의 스키마 형식을 Glue Dat.. 2023. 10. 6. AWS Redshift 베하~! 탑신병자 듀오 팀 나르 입니다! 이번 포스팅에서는 AWS Redshift에 대해서 알아보도록 하겠습니다 Redshift란? AWS에서 완전 관리형으로 제공해주는 클라우드 데이터웨어하우스 클러스터(노드집합)을 생성하고, 클러스터가 프로비저닝 완료 후 데이터 적재 및 분석, PostgreSQL을 기반으로 데이터처리를 지원 Redshift Architecture 클러스터 하나 이상의 컴퓨팅 노드로 구성 두 개 이상의 컴퓨팅 노드가 프로비저닝 될 경우 리더 노드가 컴퓨팅 노드를 관리하고 외부 통신을 처리 리더 노드 클라이언트와 통신을 처리하고 컴퓨팅 노드를 관리 노드간의 통신을 관리하며, 메타데이터를 저장 쿼리가 수행되면 컴파일 후 컴퓨팅 노드에 전달 컴퓨팅 노드 다수의 슬라이스로 분할 각 슬라이스는 .. 2023. 9. 29. [AWS] 실시간 데이터 파이프라인 구축(1) 탑신병자 듀오 팀 티모입니다. 오늘은 AWS를 기반으로 실시간 데이터 파이프라인을 구축해보겠습니다. 실습 과정부터 설명드리겠습니다. 실습 진행을 위한 IoT 데이터는 Kinesis Data Generator를 이용해 실시간 데이터를 생성하는 것으로 대체합니다. Kinesis Data Streams : 지속적으로 생산되는 실시간 IoT 로그들을 Kinesis Data Streams 내 Buffer Storage에 수집합니다. 수집된 데이터들은 Shard에 저장되며 Consumer들은 Shard에 저장된 데이터들을 가져가 사용합니다. Glue Streaming : ETL 서비스인 AWS Glue을 통해 Kinesis Data Streams에 쌓이는 실시간 데이터를 처리합니다. 처리가 완료된 데이터들은 Ama.. 2023. 9. 22. 이전 1 2 3 4 5 다음
