본문 바로가기

AWS296

[AWS] Athena 베하 이번 시간에도 수 지 타 산 입니다~~~!! 빠르게 여름이 오고 있나봐요 더워지기 전에 다들 피크닉 어떠신가요? 저번 시간 DataSync를 다루어 보았구요, 이번 시간에는 새로운 서비스 AWS Athena에 대하여 알아보아요! 팔로팔로팔로미 ~~~~ AWS Athena 란? Amazon Athena는 표준 SQL을 사용하여 Amazon S3(Amazon Simple Storage Service)에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. AWS Management Console에서 몇 가지 작업을 수행하면 Athena에서 Amazon S3에 저장된 데이터를 지정하고 표준 SQL을 사용하여 임시 쿼리를 실행하여 몇 초 안에 결과를 얻을 수 있습니다. Amazon Ath.. 2023. 5. 28.
cloudwatch logs를 s3로 전송하는 방법 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 지난 주에 이어 이번주에는 cloudwatch의 로그를 s3에 저장하는 방법에 대해 알아보겠습니다. 클라우드 워치에 로그그룹에 로그를 계속해서 저장할 수 있지만 해당 로그를 활용하거나 외부로 전송을 하기 위해서는 s3에 저장하는 것이 편리합니다. 뿐만 아니라 log group에 많은 로그를 저장해 두면 log insight를 활용하는데 많은 비용이 발생할 수 있습니다. 따라서 장기간 동안 로그를 저장하기 위해서는 s3에 저장하는 것이 효율적입니다. 그럼 이제 본격적으로 cloudwatch의 로그를 s3에 저장하는 방법에 대해 알아보겠습니다. 1. S3 버킷 생성 Create Bucket를 하여 버킷을 생성합니다. 버킷 이름은 고유한 값을 가져야.. 2023. 5. 26.
[AWS] MSK (Kafka) 안녕하세요. 할배즈..입니다. 오늘은 AWS에서 Apache Kafka를 완전관리형으로 사용할 수 있는 서비스를 소개합니다~! MSK란? Amazon Managed Streaming for Apache Kafka(Amazon MSK)는 Apache Kafka를 사용하여 스트리밍 데이터를 처리하는 애플리케이션의 구축 및 실행을 위해 사용할 수 있는 완전관리형 서비스입니다. Amazon MSK는 클러스터 생성, 업데이트 및 삭제 등에 필요한 제어 영역 작업을 제공합니다. 따라서 데이터 생성 및 소비와 같은 Apache Kafka 데이터 영역 작업을 사용할 수 있습니다. Apache Kafka의 오픈 소스 버전을 실행합니다. 즉, 파트너와 Apache Kafka 커뮤니티의 기존 애플리케이션, 도구 및 플러그인.. 2023. 5. 26.
[AWS] AWS Secrets Manager와 KMS의 차이 반갑습니다. 비티시보이즈입니다. AWS Secrets Manager와 KMS의 차이를 알아보겠습니다. AWS Secrets Manager란 ? AWS Secrets Mansger란 애플리케이션, 서비스 및 IT 리소스에 대한 액세스를 보호하는 데 도움이 되는 보안 정보 관리 서비스입니다. 이 서비스를 사용하면 수명 주기 동안 데이터베이스 자격 증명, API 키 및 기타 보안 정보를 손쉽게 교체, 관리 및 검색할 수 있습니다. 즉, 데이터베이스 암호나 API 키와 같은 비밀 데이터들을 안전하게 저장하고 관리할 수 있도록하는 서비스입니다. AWS Key Management Service란 ? KMS를 사용하면 데이터 보호에 사용되는 암호화 키를 중앙 집중식으로 제어할 수 있습니다. 이 서비스를 다른 AWS .. 2023. 5. 25.
[AWS] S3 스토리지 클래스 & 생명주기 더보기 베하~! 탑신병자 듀오 팀 나르 입니다! 이번 글에서는 S3 스토리지 클래스와 생명주기에 대해서 포스팅 하겠습니다~!S3 스토리지 클래스 별 특징들과 생명주기를 이해한다면 비용절감에도 많은 도움이 될 것 입니다! 자~ 본격적인 내용에 앞서 스토리지의 종류부터 간단하게 정리하고 시작하겠습니다. 1. 블록 스토리지 ☞ 데이터를 일정 크기의 블록으로 나누어 저장하며 호스트에서 파일 시스템을 생성할 수 있습니다.☞ SSD나 HDD라고 할 수 있고, AWS의 EBS가 블록 스토리지에 해당 합니다 호스트에서 직접 파일을 액세스하고 기록하며 빠른 성능을 요하는 경우 효율적 2. 파일 스토리지 ☞ 디렉토리 구조로 파일을 저장하며 스토리지단에서 파일 시스템을 생성합니다. ☞ 대표적으로 NAS가 있고 AWS에서는 .. 2023. 5. 24.
S3 로그를 Lambda를 통해 CLoud watch로 전송 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 지난주 로그에 대한 중요성과 ALB 로그를 S3로 저장하는 방법에 대해 알아보았는데요 이번시간에는 해당 S3에 저장되어 있는 로그를 Lambda를 통해 cloudwatch로 전송하는 방법에 대해 알아보도록 하겠습니다 1. 2. 아래와 같이 코드와 AWS role을 설정할 수 있습니다. 3. 저희는 파이썬 코드를 이용하여 람다코드를 구현해보겠습니다. 아래의 내용을 참조하여 각자에 맞는 코드를 작성하면 됩니다! import os import boto3 import gzip import io import json import datetime s3 = boto3.client('s3') logs = boto3.client('logs') # Lambda .. 2023. 5. 19.
[AWS] System Manager Patch Manager을 통한 인스턴스 자동업데이트 구성 안녕하세요. 이쁜이와 멋쟁이의 "BTC_기범"입니다. AWS의 매니지드 서비스들은 보안 업데이트를 진행하는 것을 강력히 권장하여 업데이트 사항이 발생될 때마다 업데이트가 예약되곤 합니다. 하지만 매니지드 서비스가 아닌 EC2는 그렇지 않은데요. 오늘은 이러한 EC2의 보안 업데이트를 자동으로 업데이트할 수 있도록 도와주는 System Manager Patch Manager에 대해 알아보고 System Manager Patch Manager 인스턴스 자동업데이트 구성을 진행해보겠습니다! AWS Systems Manager란? AWS 애플리케이션 및 리소스를 위한 운영 허브이자, 보안이 보장된 대규모 운영을 지원하는 하이브리드 클라우드 환경을 위한 안전한 end-to-end 관리 솔루션입니다. Patch M.. 2023. 5. 19.
[AWS] DataSync 베하 ~~~~ 오늘도 수 지 타 산 입니다!! 일교차가 커진 요즘이네요. 감기조심! 힘내서 가볼까요?? 이번 시간에는 DataSync에 대하여 알아볼게요. AWS DataSync 1. AWS DataSync란? AWS DataSync는 AWS로의 데이터 마이그레이션을 간소화 및 가속화하고 온프레미스 스토리지, 엣지 로케이션, 다른 클라우드 및 AWS 스토리지 간에 데이터를 빠르고 안전하게 이동하는 데 도움이 되는 온라인 데이터 이동 및 검색 서비스입니다. 2. DataSync 작동 방식 2-1. 온프레미스 AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다. 2-2. AWS 스토리지 서비스 AWS DataSync는 애플리케이.. 2023. 5. 19.

티스토리툴바