본문 바로가기

수지타산63

[AWS] RDS 스토리지 자동 조정 기능 베하 ~~! 오늘은 서 지 타 산 으로 돌아왔어요. 이번 게시물에서는 RDS 기능 중 '스토리지 자동 조정 기능'에 대하여 얘기해볼까해요. 서지타산과 함께 알아보아요. 팔로팔로팔로미 ~~~~~~ RDS Storage Autoscaling RDS 스토리지 Auto Scaling은 가동 중단 없이 증가하는 데이터베이스 워크로드에 맞춰 스토리지 용량을 자동으로 확장합니다. RDS 스토리지 Auto Scaling을 통해 원하는 최대 스토리지 한도를 설정하기만 하면 Auto Scaling이 나머지를 처리합니다. (실제 스토리지 사용량을 지속적으로 모니터링하고, 실제 사용률이 프로비저닝된 스토리지 용량에 근접하면 용량을 자동으로 확장합니다.) AWS 콘솔에서 몇번의 클릭으로 해당 기능을 쉽게 활성화시킬 수 있습니다.. 2023. 7. 7.
[AWS] DataSync & Snowball 베하 ~~~~! 이번 시간에도 서 지 타 산 입니다 !! AWS DataSync와 snowball 서비스를 아시나요? 이번 시간에는 온프렘 데이터를 Amazon S3로 데이터 이관하는 방법을 학습합시다. 팔로팔로팔로미 ~~~~~~~ 1. DataSync DataSync의 경우 AWS 와의 네트워크 연결을 위해 Direct Connect 혹은 VPN과 같은 네트워크 서비스가 수반됩니다. 따라서 Onprem과 AWS간 네트워크가 온라인 상태에서 온프렘에 Datasync를 위한 Agent를 설치하여 데이터 이관을 위한 source/destination을 정리한 후 Task를 수행하는 방식으로 데이터를 이관하게 됩니다. Datasync 아키텍처 - 온프레미스 1-1. 그럼 Datasync Agent 설치 과정을.. 2023. 7. 7.
Snowflake VS Databricks 베하~~ 수 지 타 산 입니다 오늘은 예고했던대로 스노우플레이크와 데이터브릭스에 대해 공부할게요 팔로팔로팔로미 Snowflake ? 멀티 클라우드를 지향하지만 각각의 데이터들은 CSP에 종속되는 현상이 있습니다. 또한, 여러 클라우드 회사의 다양한 리전에서 쌓인 데이터들은 언어도 형태도 다르기에 일치하지 않는 것을 '샤일로 현상' 이라고 하는데요, 이러한 현상을 극복하는 데이터 플랫폼이 스노우플레이크 입니다 또한, 우리는 데이터 관련 작업을 위해 하나의 데이터를 여러 컴퓨터에서 사용하는데 이러한 경우에는 쿼리량이 급증하면 속도가 느려지는 문제가 발생합니다. 하지만 스노우플레이크는 해당 데이터를 가상의 컴퓨터에 올려 사용하므로 병목현상 없이 처리할 수 있습니다. 데이터 자체를 함께 공유하여 사용한다는 의미.. 2023. 6. 21.
[데이터 레이크하우스] Data Lakehouse 베하~ 수 지 타 산 입니다 오늘은 특별히 AWS가 아닌 다른 내용으로 찾아왔어요 요즘 가장 핫하지만 접하기 어려운 데이터 브릭스와 스노우플레이크에 대해 공부하기 전에 데이터레이크하우스에 대해 살펴볼게요 팔로팔로팔로미 먼저 데이터레이크와 데이터웨어하우스에 대해 알아볼까요 ~ ? What is ? 1초에 수십억개 혹은 그 이상의 데이터가 발생하는 요즘, 이 데이터를 처리하는 방법 중에 데이터레이크와 데이터웨어하우스 라는 개념이 있습니다. 간단하게 데이터레이크는 특정한 규칙이나 목적 없이 데이터를 저장해두는 방식을 의미하고, 데이터웨어하우스는 데이터를 목적에 맞게 분류하고 정형화된 데이터 형태로 보관하는 방법을 의미합니다. 데이터 웨어하우스는 여러 곳에 흩어진 데이터를 목적에 맞게 찾고 모아서 하나로 통합하.. 2023. 6. 19.
[AWS] AWS Glue 베하 ~! 이번 시간도 수 지 타 산 입니다. 더워지는 날씨와 함께 더위와 냉방병 조심하셔야 겠어요 ~~ AWS Glue 서비스에 대해 다뤄 볼텐데 개요부터 기능과 FAQ까지 함께 해보아요. 팔로팔로팔로미 ~~~~~~~~ AWS Glue란? AWS Glue는 분석, 기계 학습(ML) 및 애플리케이션 개발을 위해 여러 소스에서 데이터를 쉽게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스입니다. AWS Glue를 사용해야 하는 이유는 무엇인가요? 분석 또는 ML 프로젝트의 첫 번째 단계는 품질 좋은 결과가 나오도록 데이터를 준비하는 것입니다. AWS Glue는 더 저렴한 비용으로 더 간편하고 빠르게 데이터를 준비할 수 있는 서버리스 데이터 통합 서비스입니다. 70개 .. 2023. 6. 9.
[AWS] Direct Connect 베하 ~~~~! 이번 시간에도 수 지 타 산 입니다 !! AWS Dircet Connect란 서비스를 아시나요? 이번 시간에는 AWS Dircet Connect 서비스의 개요, 기능, 구성도 등을 살펴보며 학습해보아요. 팔로팔로팔로미 ~~~~~~~ AWS Direct Connect란? AWS Direct Connect 클라우드 서비스는 AWS 리소스에 대한 최단 경로입니다. 전송하는 동안 네트워크 트래픽은 AWS 글로벌 네트워크에 남아있으며 퍼블릭 인터넷에 닿지 않습니다. 서비스를 사용하면 병목 현상이 발생하거나 대기 시간이 예기치 않게 증가할 가능성이 줄어듭니다. 1. 작동 방식 호스팅 연결을 선택하거나 AWS에서 전용 연결을 선택하고 전 세계 100개 이상의 AWS Direct Connect 위치에 .. 2023. 6. 9.
[AWS] Athena 베하 이번 시간에도 수 지 타 산 입니다~~~!! 빠르게 여름이 오고 있나봐요 더워지기 전에 다들 피크닉 어떠신가요? 저번 시간 DataSync를 다루어 보았구요, 이번 시간에는 새로운 서비스 AWS Athena에 대하여 알아보아요! 팔로팔로팔로미 ~~~~ AWS Athena 란? Amazon Athena는 표준 SQL을 사용하여 Amazon S3(Amazon Simple Storage Service)에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. AWS Management Console에서 몇 가지 작업을 수행하면 Athena에서 Amazon S3에 저장된 데이터를 지정하고 표준 SQL을 사용하여 임시 쿼리를 실행하여 몇 초 안에 결과를 얻을 수 있습니다. Amazon Ath.. 2023. 5. 28.
[AWS] DataSync 베하 ~~~~ 오늘도 수 지 타 산 입니다!! 일교차가 커진 요즘이네요. 감기조심! 힘내서 가볼까요?? 이번 시간에는 DataSync에 대하여 알아볼게요. AWS DataSync 1. AWS DataSync란? AWS DataSync는 AWS로의 데이터 마이그레이션을 간소화 및 가속화하고 온프레미스 스토리지, 엣지 로케이션, 다른 클라우드 및 AWS 스토리지 간에 데이터를 빠르고 안전하게 이동하는 데 도움이 되는 온라인 데이터 이동 및 검색 서비스입니다. 2. DataSync 작동 방식 2-1. 온프레미스 AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다. 2-2. AWS 스토리지 서비스 AWS DataSync는 애플리케이.. 2023. 5. 19.

티스토리툴바