본문 바로가기

수지타산36

[AWS] DataSync & Snowball 베하 ~~~~! 이번 시간에도 서 지 타 산 입니다 !! AWS DataSync와 snowball 서비스를 아시나요? 이번 시간에는 온프렘 데이터를 Amazon S3로 데이터 이관하는 방법을 학습합시다. 팔로팔로팔로미 ~~~~~~~ 1. DataSync DataSync의 경우 AWS 와의 네트워크 연결을 위해 Direct Connect 혹은 VPN과 같은 네트워크 서비스가 수반됩니다. 따라서 Onprem과 AWS간 네트워크가 온라인 상태에서 온프렘에 Datasync를 위한 Agent를 설치하여 데이터 이관을 위한 source/destination을 정리한 후 Task를 수행하는 방식으로 데이터를 이관하게 됩니다. Datasync 아키텍처 - 온프레미스 1-1. 그럼 Datasync Agent 설치 과정을.. 2023. 7. 7.
Snowflake VS Databricks 베하~~ 수 지 타 산 입니다 오늘은 예고했던대로 스노우플레이크와 데이터브릭스에 대해 공부할게요 팔로팔로팔로미 Snowflake ? 멀티 클라우드를 지향하지만 각각의 데이터들은 CSP에 종속되는 현상이 있습니다. 또한, 여러 클라우드 회사의 다양한 리전에서 쌓인 데이터들은 언어도 형태도 다르기에 일치하지 않는 것을 '샤일로 현상' 이라고 하는데요, 이러한 현상을 극복하는 데이터 플랫폼이 스노우플레이크 입니다 또한, 우리는 데이터 관련 작업을 위해 하나의 데이터를 여러 컴퓨터에서 사용하는데 이러한 경우에는 쿼리량이 급증하면 속도가 느려지는 문제가 발생합니다. 하지만 스노우플레이크는 해당 데이터를 가상의 컴퓨터에 올려 사용하므로 병목현상 없이 처리할 수 있습니다. 데이터 자체를 함께 공유하여 사용한다는 의미.. 2023. 6. 21.
[데이터 레이크하우스] Data Lakehouse 베하~ 수 지 타 산 입니다 오늘은 특별히 AWS가 아닌 다른 내용으로 찾아왔어요 요즘 가장 핫하지만 접하기 어려운 데이터 브릭스와 스노우플레이크에 대해 공부하기 전에 데이터레이크하우스에 대해 살펴볼게요 팔로팔로팔로미 먼저 데이터레이크와 데이터웨어하우스에 대해 알아볼까요 ~ ? What is ? 1초에 수십억개 혹은 그 이상의 데이터가 발생하는 요즘, 이 데이터를 처리하는 방법 중에 데이터레이크와 데이터웨어하우스 라는 개념이 있습니다. 간단하게 데이터레이크는 특정한 규칙이나 목적 없이 데이터를 저장해두는 방식을 의미하고, 데이터웨어하우스는 데이터를 목적에 맞게 분류하고 정형화된 데이터 형태로 보관하는 방법을 의미합니다. 데이터 웨어하우스는 여러 곳에 흩어진 데이터를 목적에 맞게 찾고 모아서 하나로 통합하.. 2023. 6. 19.
[AWS] DataPipeline 베하~~ 수 지 타 산 입니다 이번 한 주도 잘 보내셨나요~?? 오늘은 데이터파이프라인에 대해 공부할게요 팔로팔로팔로미 AWS DataPipeline 이란? 데이터의 이동과 변환을 자동화하는 데 사용할 수 있는 웹 서비스 온프레미스 데이터 소스뿐 아니라 여러 AWS 컴퓨팅 및 스토리지 서비스 간에 데이터를 안정적으로 처리하고 지정된 간격으로 이동할 수 있게 지원하는 웹 서비스 저장된 데이터에 정기적으로 액세스하고, 대규모로 데이터를 변환 및 처리하며, Amazon S3, Amazon RDS, Amazon DynamoDB 및 Amazon EMR과 같은 AWS 서비스에 그 결과를 효율적으로 전송할 수 있습니다 내결함성이 있고, 반복 가능하며, 가용성이 높고, 복잡한 데이터 처리 워크로드를 손쉽게 생성할 수 .. 2023. 5. 12.
[AWS] code deploy 베하~~ 수 지 타 산 입니다 봄비가 오는 주말이네요!! 이번 주 공휴일이 많았는데 다들 즐겁게 보내셨나요? 그럼 오늘은 code deploy에 대해 공부할게요 팔로팔로팔로미 Code deploy란? CodeDeploy는 SourceCode를 운영환경에 자동 배포하는 역할을 수행하는 AWS Service입니다. 즉, CD 지속적 배포 서비스입니다. CodeDeploy는 Amazon EC2 인스턴스, 온프레미스 인스턴스, 서버리스 Lambda 함수 또는 Amazon ECS 서비스로 애플리케이션 배포를 자동화하는 배포 서비스입니다. 아래를 포함하여 다양한 애플리케이션 콘텐츠를 거의 무제한으로 배포할 수 있습니다. 코드 서버리스 AWS Lambda 함수 웹 및 구성 파일 Executables 패키지 스크립트 .. 2023. 5. 7.
[AWS] CloudWatch 베하~~ 일주일이 지나 다시 찾아온 수 지 타 산 입니다 요즘 하루하루가 왜 이렇게 빠르게 느껴지는지 모르겠어요 여러분도 그러신가요~? 오늘은 AWS 모니터링 서비스에 대해 공부할게요 팔로팔로팔로미 CloudWatch 란? Amazon CloudWatch는 AWS 리소스와 AWS에서 실시간으로 실행 중인 애플리케이션을 모니터링 하는 서비스 입니다. 지표를 감시해 알림을 보내거나 임계값을 위반한 경우 모니터링 중인 리소스를 자동으로 변경하는 경보를 생성할 수 있습니다. 예를 들어 경보는 인스턴스 중지, auto scaling 및 Amazon SNS 작업 시작, 종료 등으로 구성할 수 있습니다. Namespace, Dimension, Metric, Statistics 만약, "EC2 인스턴스의 CPU 점유율.. 2023. 4. 29.
[AWS] Cloudformaion 베하~~~ 흐린 날이 지나고 오늘은 날씨가 정말 좋네요 봄이 완전히 다가온 기분입니다 올해 봄에도 수 지 타 산 과 함께 열심히 달려봐요 그럼 오늘은 cloudformation에 대해 공부해볼까요~~ AWS CloudFormation 이란? AWS CloudFormation 구성요소 템플릿(Template) 스택(Stack) CloudFormation AWS CloudFormation 작동 방식 스택 생성 워크플로우 스택 업데이트 워크플로우 AWS CloudFormation 이란? AWS의 대표적인 IaC 기반의 구성 조정 도구 스택을 생성할 때 마다 AWS CloudFormation에서 템플릿에 설명된 리소스를 프로비저닝과 구성을 담당 AWS 리소스를 수동으로 생성하거나 구성할 필요가 없고 어떤 것이 .. 2023. 4. 21.
[AWS] Cloudfront 베하 ~~~~~~~~~~~~ 수 지 타 산 입니다. 본격적으로 봄이 오기 전 비가 오는 요즘입니다 앞으로 다가올 따뜻한 날씨를 기대하며 오늘은 cloudfront에 대해 공부할게요 팔로팔로팔로미 CloudFront란? CloudFront는 AWS에서 제공하는 CDN 서비스 입니다. 캐싱을 통해 사용자에게 좀 더 빠른 전송 속도를 제공함을 목적으로 합니다. CloudFront는 전 세계 이곳저곳에 Edge Server(Location)을 두고 Client에 가장 가까운 Edge Server를 찾아 Latency를 최소화시켜 빠른 데이터를 제공합니다. 클라우드프론트는 개발자 친화적 환경에서 짧은 지연 시간과 빠른 전송 속도로 데이터, 동영상, 애플리케이션 및 API를 전세계 고객에게 안전하게 전송하는 고속 .. 2023. 4. 6.

티스토리툴바