본문 바로가기

CSP (Cloud Service Provider)/AWS416

[AWS] AWS EMR 안녕하세요 비티시보이즈입니다. 오늘 포스팅 주제는 AWS EMR입니다. Amazon EMR 이란? Apache Spark, Hive, Presto 및 다른 빅 데이터 워크로드를 손쉽게 실행하고 크기를 조정할 수 있는 AWS 서비스입니다. EKS 기반 Amazon EMR은 Amazon EKS (Amazon Elastic Kubernetes Service) 에서 오픈 소스 빅 데이터 프레임워크를 실행할 수 있는 Amazon EMR용 배포 옵션을 제공합니다. 이 배포 옵션을 사용하면 EKS 기반 Amazon EMR이 오픈 소스 애플리케이션용 컨테이너를 구축, 구성 및 관리하는 동안 분석 워크로드를 실행하는 데 집중할 수 있습니다. 인프라를 프로비저닝하지 않고도 공통 리소스 풀에서 애플리케이션을 실행할 수 있습.. 2023. 12. 22.
AWS Quantum Ledger Database (QLDB) 베하~! 탑신병자 듀오 팀 나르 입니다! 이번 포스팅에서는 AWS Quantum Ledger Database (QLDB)에 대해서 알아보도록 하겠습니다 QLDB의 개념 데이터 원장의 중요성 원장은 거래 또는 다른 데이터 변경 사항의 기록을 유지하는 시스템입니다 기록은 변경 불가능하고, 순차적으로 유지되어야 하며, 검증 가능해야 합니다. AWS Quantum Ledger Database (QLDB) QLDB는 중앙의 신뢰할 수 있는 권위자가 관리하는 원장을 제공합니다. QLDB 서버리스 서비스이며, AWS에서 완전히 관리하는 구조로 제공되어, 유지 보수 부담을 줄여줍니다. QLDB의 주요 특징 불변성(Immutability): QLDB에서 데이터는 한 번 기록되면 변경되거나 삭제될 수 없습니다. 모든 변경.. 2023. 12. 22.
[AWS] Athena로 S3 AcceseLog 분석하기 베하 ! 안녕하세요! 벌써 연말이 다가왔어요!! 날씨도 너무 추워졌는데 다들 감기예방하고 계신가요 !! 저는 최근에 자기 전 생강차를 한 잔 마시고 자는 루틴이 생겼는데 꽤 ,, 나름,, 감기에 안걸리고 건강하네요? 생강차 추천 드립니다 감 기 예 방 최근 S3 Access Log 또는 ELB Access Log를 분석해서 뭔가 인사이트나 장애원인 등을 확인하고자 하는 요청이 많았던 것 같습니다. 예를 들어, ELB 로그 중 요청 도메인 별로 일일 몇개정도가 요청되는지 ? 아니면 S3에서 GET 요청으로 다운로드 되는 시간과 건수는 얼마나 되는지 등? 다들 데이터를 활용해서 장애 예방이나, 인사이트 도출을 하시는구나 하고 많이 와닿았습니다. 그래서 S3 Access 로그 중 시간별 GET 요청 수를 통계.. 2023. 12. 21.
S3 Access log & Lambda &CloudWatch 안녕하세요. 이쁜이와 멋쟁이의 "BTC_준호" 입니다. 오늘은 S3 Logging 버킷에 쌓인 AccessLog를 Lambda를 사용하여 원하는 정보만 필터링 후 CloudWatch로 옮기는작업을 소개하겠습니다. Lambda 함수 생성 관련 정책 설정 함수 생성 시 역할이 함께 생성되는데 그 역할에는 Lambda 실행 로그를 CloudWatch 로그그룹에 저장할 수 있는 CloudWatch 관련 정책이 함께 생성되어 있음 (고객관리형 인라인정책) S3에 엑세스 하여 로그를 가져오기 위해서는 인라인 정책과 로그그룹에 대한 정책을 추가 해줘야 한다. (권한 추가 → 인라인 정책 생성 → JSON →코드작성→ 변경사항 저장) { "Version": "2012-10-17", "Statement": [ { "Ef.. 2023. 12. 20.
[AWS] S3 Access log 활성화 방법 안녕하세요. 이쁜이와 멋쟁이의 "BTC_준호" 입니다. 오늘은 S3 Access log에 대해 이야기해보겠습니다. S3 Access Logs는 S3 버킷의 access 요청에 대한 상세한 내용을 기록합니다. 사전 준비 사항 1. 권한: S3 버킷을 관리할 수 있는 IAM 권한이 필요합니다. 서버 액세스 로깅을 활성화하면 S3 콘솔이 S3 로그 전달 그룹에 대한 액세스를 포함하도록 버킷 정책을 자동으로 업데이트합니다. 2. S3버킷: S3 Access logging을 활성화하기 위해서는 두 가지 버킷이 필요합니다. 하나는 로깅을 활성화할 Source 버킷, 다른 하나는 생성된 로그 데이터를 저장할 별도의 Logging 버킷입니다. Source 버킷과 Logging 버킷이 동일한 경우 로그가 계속해서 들어오.. 2023. 12. 20.
[AWS] AWS DataSync-EFS 베하 ! 날씨가 많이 추워졌는데 다들 잘 지내실까요? 장갑과 목도리는 필수입니다! 최근 Data migration과 관련된 문의가 있었는데요, 이번 시간에는 관련하여 DataSync를 알아보겠습니다 DataSync 사용 서비스 중 EFS에 대해서도 자세히 알아볼게요 팔로미 ~~~ 1. DataSync 란? : 안전한 데이터 마이그레이션의 간소화 및 가속화 AWS DataSync데이터 마이그레이션을 간소화하고 AWS 스토리지 서비스 간에 파일 또는 개체 데이터를 빠르고 쉽고 안전하게 전송할 수 있도록 지원하는 온라인 데이터 이동 및 검색 서비스입니다. 2. 작동 방식 2-1. 온프레미스와 AWS 간 데이터 전송 : AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 .. 2023. 12. 20.
ELB 504 에러 해결방안 베하~ 현상수배범입니다. 이번 시간에는 ELB 504 에러 발생 시 해결방안에 대해 알아보도록 하겠습니다! 504 Gateway timeout Error 가 발생하는 원인은 주로 유휴 제한 시간 내에 요청이 완료되지 않아 로드밸런서가 연결을 닫아 발생하는 것입니다. 이에 대한 해결방안으로 주로 응답을 보내는 어플리케이션의 유휴시간이 ELB의 유휴시간보다 짧아 응답을 완료하지 못한 경우 응답받지 못한 ELB에서 발생하는 오류이기 때문에 ELB 유휴 제한시간보다 어플리케이션의 유휴시간을 더 크게 설정하면 됩니다. 이런 경우 tomcat server.xml 의 connector 설정 값을 수정해주면 되는데 예를 들어 ELB 에서 연결접속에 대해 60초간 지속(유휴제한 시간)하지만, 서비스하고 있는 어플리케이션.. 2023. 12. 15.
[AWS] 서버리스 기반 웹 애플리케이션 만들기 (2) 탑신병자 듀오 팀 티모입니다. 지난 시간에는 Lambda를 이용해 기본적인 웹 애플리케이션을 생성해봤습니다. 이번 시간에는 이어서 DynamoDB와 API Gateway를 생성 후 Lambda와 연결해보겠습니다. DynamoDB로 들어가 테이블 생성을 클릭합니다. 파티션 키의 이름은 반드시 똑같이 작성해야 에러가 나지 않습니다. 이 외에는 모두 기본값으로 생성한 후 활성 상태를 체크합니다. Table name : hello-member Partition key : name (문자열) 이제 웹 페이지와 내부 기능을 맡은 각각의 Lambda를 호출을 통해 연결되도록 API Gateway를 구성합니다. API Gateway > API > REST API로 생성합니다. API 세 정보 : 새 API API 이름.. 2023. 12. 11.

티스토리툴바