AWS Elasticsearch Service (AWS ES)

안녕하세요. BTC_베짱이팀 입니다.

오늘 소개해드릴 AWS 서비스는 "AWS Elasticsearch Service (AWS ES)" 입니다.

 

 

Elasticsearch는 Apache Lucene에 구축되어 배포된 검색 및 분석 엔진

배포 및 관리

설정 및 구성: Amazon OpenSearch Service를 시작하는 것은 쉽습니다. AWS 관리 콘솔 또는 AWS Command Line Interface(CLI)를 통한 단일 API 호출을 사용하여 Amazon OpenSearch Service 클러스터를 설정하고 구성할 수 있습니다. 인스턴스 수, 인스턴스 유형, 스토리지 옵션을 지정하고 언제든 기존 클러스터를 수정하거나 삭제할 수 있습니다.

현재 위치 업그레이드: Amazon OpenSearch Service를 사용하면 현재 위치 버전 업그레이드를 사용하여 가동 중단 없이 OpenSearch 및 Elasticsearch 클러스터(최고 버전 7.10)를 새로운 버전으로 쉽게 업그레이드할 수 있습니다. 현재 위치 업그레이드를 사용하면 수동 스냅샷을 가져오고 최신 버전을 실행하는 새 클러스터로 복원하고 모든 엔드포인트 참조를 업데이트하는 번거로움을 겪지 않아도 됩니다.

이벤트 모니터링 및 알림: Amazon OpenSearch Service는 기본 제공 이벤트 모니터링 및 알림 기능을 바탕으로 클러스터에 저장된 데이터를 모니터링하고, 미리 구성된 임계값에 따라 알림을 자동으로 전송할 수 있게 해 줍니다. OpenSearch 알림 플러그인을 사용해 구축하는 이 기능을 통해 사용자는 Kibana 또는 OpenSearch 대시보드 인터페이스와 REST API를 사용해 알림을 구성하고 관리할 수 있습니다. 사용자 지정 웹훅, Slack, Amazon Simple Notification Service(SNS), Amazon Chime을 통해 알림을 수신할 수 있습니다. 또한 추가 비용 없이 Amazon CloudWatch를 통해 인스턴스 수, 클러스터 상태, 검색 가능 문서, CPU, 메모리, 데이터 및 마스터 노드의 디스크 사용률을 포함한 클러스터 상태 지표를 볼 수 있습니다.

쿼리 다중 언어 지원: Amazon OpenSearch Service에서는 OpenSearch 쿼리 도메인별 언어 숙련도가 필요 없습니다. OpenSearch SQL로 SQL 쿼리를 작성하거나, 파이프(|) 구문을 사용할 수 있는 쿼리 언어인 OpenSearch 파이프 처리 언어(PPL)를 사용해 데이터를 탐색하고 발견하며 쿼리하세요. OpenSearch 대시보드에는 SQL 및 PPL 워크벤치도 포함되어 있습니다.

오픈 소스 도구와 통합: Amazon OpenSearch Service는 기본 제공 OpenSearch 대시보드 및 Kibana(Elasticsearch 버전 7.10 및 그 이전)를 제공하고 Logstash와 통합되어 원하는 오픈 소스 도구를 사용하여 데이터를 수집하고 시각화할 수 있습니다. 오픈 소스 OpenTelemetry 표준에 대해 Amazon OpenSearch Service의 지원과 함께 추적 분석을 수행하고 Elasticsearch API 및 Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor 및 Mapper Murmur3과 같은 플러그인에 직접 액세스하여 기존 코드를 계속 사용할 수 있습니다.

보안: Amazon OpenSearch Service를 사용하면 VPC 보안 그룹 또는 IP 기반 액세스 정책을 사용해 네트워크 액세스를 구성한 후 Amazon Virtual Private Cloud(VPC) 또는 퍼블릭 인터넷을 통해 애플리케이션을 관리형 Elasticsearch(버전 7.10 및 그 이전) 또는 OpenSearch 환경에 안전하게 연결할 수 있습니다. 또한 Amazon Cognito, AWS Identity and Access Management(IAM) 또는 사용자 이름 및 암호를 사용하는 기본 인증을 통해 사용자를 안전하게 인증하고 액세스를 제어할 수 있습니다. Amazon OpenSearch Service는 OpenSearch 보안 플러그인을 활용해 인덱스, 문서 또는 필드에 대해 세분화된 권한을 정의할 수 있도록 합니다. 읽기 전용 보기 및 안전한 다중 테넌트 지원을 통해 Kibana를 확장할 수도 있습니다. 또한 Amazon OpenSearch Service에서는 도메인 또는 자동화된 스냅샷에 저장된 데이터와 도메인의 노드 간에 전송되는 데이터를 보호할 수 있도록 저장 데이터 및 전송 중 데이터에 대한 암호화 기능을 기본적으로 지원합니다. Amazon OpenSearch Service는 HIPAA 적격 서비스이며 PCI DSS, SOC, ISO 및 FedRAMP 표준을 준수합니다. 따라서 규정 준수 요구 사항을 충족하는 애플리케이션을 쉽게 구축할 수 있습니다.

스토리지 계층화

UltraWarm

핫 스토리지를 사용하면 자주 액세스하는 데이터의 조회가 빨라집니다. 웜 스토리지 계층인 UltraWarm은 대화식 쿼리 환경을 계속 제공하면서 오래되고 자주 액세스하지 않는 데이터에 대해 저렴한 스토리지를 제공함으로써 Amazon OpenSearch Service의 핫 스토리지를 보완합니다. UltraWarm은 Amazon S3에 데이터를 저장하며 데이터의 캐시, 미리 가져오기 및 쿼리를 신속하게 수행하기 위해 AWS Nitro System에 적합하게 구축되고 최고로 최적화된 사용자 지정 노드를 사용합니다.

UltraWarm을 사용하면 단일 Amazon OpenSearch Service 클러스터에 최대 3PB의 데이터를 보관하여 핫 스토리지 계층에 비해 GB당 비용을 거의 90% 줄여줍니다. 또한 Kibana(버전 7.10 및 그 이전) 또는 OpenSearch 대시보드 인터페이스에서 데이터를 쉽게 쿼리하고 시각화할 수 있습니다. 아카이브된 로그를 복원하느라 몇 시간 또는 며칠을 소비하는 일 없이 최근(주 단위) 및 과거(월 또는 연 단위)의 로그 데이터를 분석합니다.

콜드 스토리지

콜드 스토리지는 자주 액세스하지 않는 데이터를 Amazon S3에 보존하고 필요할 때 컴퓨팅 비용만 지불할 수 있는 비용이 가장 저렴한 Amazon OpenSearch Service의 스토리지 옵션입니다. 콜드 스토리지는 Amazon S3에 데이터를 저장하는 특별한 노드를 제공하며 정교한 캐싱 솔루션을 사용하여 대화형 경험을 구현하는 UltraWarm을 기반으로 합니다. 컴퓨팅 리소스를 스토리지와 분리하는 방식으로 콜드 스토리지를 사용함으로써 Amazon OpenSearch Service 도메인의 모든 데이터를 보존하면서도 GB당 비용을 Amazon S3 스토리지 가격 수준으로 절감할 수 있습니다. 기록 데이터 또는 자주 액세스하지 않는 웜 데이터를 사용하지 않는 동안 분리하여 여유 컴퓨팅 리소스를 확보함으로써 비용을 절감할 수 있습니다. Kibana(버전 7.10 및 그 이전) 또는 OpenSearch 대시보드 인터페이스 및 사용하기 쉬운 API를 사용하여 수초 만에 콜드 데이터를 탐색한 후 도메인의 UltraWarm 노드에 선택적으로 연결합니다. 콜드 스토리지가 있으면 웜 데이터와 유사한 대화형 경험과 성능으로 연결된 콜드 데이터를 쿼리할 수 있습니다.