본문 바로가기

1-Tier41

Kubeflow 설치하기 베하~! 안녕하세요 1-Tier팀 입니다.오늘은 Kubeflow를 설치하는 방법에 대해 알아보도록 하겠습니다.혹시 kubeflow에 대해 궁금하신 분들은 제가 이전에 작성한 포스팅을 참고 부탁드립니다.https://btcd.tistory.com/1169 Kubeflow 개요 및 특징베하~! 1Tier 팀 입니다. Kubeflow~! 혹시 들어보셨나요? Kubeflow는 End-toEnd AI 플랫폼으로, MLOps를 위한 머신러닝 워크플로우로 점차 상용화 되어가고 있는데요, 이번에는 Kubeflow를 한번 알아보겠습니다btcd.tistory.comKubeflow 설치하기1. Git Repository 다운로드export KUBEFLOW_RELEASE_VERSION=v1.7.0export AWS_RELEA.. 2024. 5. 2.
Deployments 와 StatefulSets 베하~! 안녕하세요 1-Tier팀 입니다. Kubernetes 환경을 운영하면서 대부분 Deployment로 관리되고 운영되는데, MySQL, Jenkins 등 일부는 StatefulSet을 사용하는것에 궁금증이 생겼고 비슷한 역할을 하는 리소스이긴 하나 분명 다른점이 있을 것인데 명확하게 설명하기 어려워 두 개의 차이점을 알아보고자 찾아보면서 정리하기 위해 해당 포스팅을 작성하게 되었습니다. 차이점을 이해하기 전에, 먼저 상태 저장의 의미인 Stateful 과 Non-Stateful 를 이해해야 합니다. Stateful / Non-Stateful Stateful 상태를 지속적으로 유지하는 상태 DB, 캐싱 등 데이터를 영구적으로 저장하고 관리해야 하는 경우에 사용되며 각각의 인스턴스가 고유 식별자를 가.. 2024. 4. 17.
Apache Iceberg 베하~! 안녕하세요 1-Tier팀 입니다. 이번에는 대규모 데이터 레이크 관리를 위한 오픈소스인 Apache Iceberg에 대해 알아보겠습니다. Apache Iceberg Apache Iceberg는 페타바이트 기반의 데이터를 위한 오픈소스로, Netflix에서 개발하여 2020년부터 오픈소스로 사용되었습니다. Apache Iceberg는 데이터 레이크에 저장된 대규모 데이터 세트를 테이블로 관리할 수 있고 데이터 처리를 위한 지원을 해준다는 것입니다. 기존 Apache Hive 기반의 빅데이터 처리 방식은 ACID 트랜잭션을 지원하지 않아 데이터의 일관성과 무결성 보장을 하지 않았지만, Apache Iceberg는 ACID를 보장하여 데이터의 일관성과 무결성을 보장할 뿐만 아니라 데이터 변경 시 레코.. 2024. 4. 8.
Amazon Aurora MySQL version 3 Upgrade 베하~! 안녕하세요 1-Tier팀 입니다. 오늘은 Aurora MySQL을 Version 3 로 업그레이드를 하기 위한 준비 과정과 방법에 대해 알아보고자 합니다. Amazon Aurora MySQL 버전 3는 가장 최신화 된 메이저 버전으로 MySQL 8.0과 호환 됩니다. 버전 3에서는 Amazon Aurora Serverless v2, Amazon Aurora zero-ETL, AWS Graviton3 지원, 향상된 바이너리 로그 및 Amazon Aurora I/O-Optimized와 같은 새로운 기능에 대한 지원이 포함되며 기존의 버전 2 (MySQL 5.7 호환)는 2024년 10월 31일에 표준 지원이 종료됩니다. 지원 종료 후 최대 3년간 기존 버전을 확장 지원 받을 수 있습니다. 확장 지원.. 2024. 3. 26.
Vault by HashiCorp 베하~! 1-Tier팀 입니다. 기업에서 API Key, PW, 인증서 등 다양한 중요 정보들과 산출물들을 관리하게 되는데 산개되어 있는 데이터는 유출 위험이 있고 동적으로 운영되는 클라우드 환경에서는 데이터 관리에 더욱 어렵습니다. 이때 Vault를 사용하면 중요 정보들을 중앙에서 통합 관리할 수 있도록 클라우드 보안 기반을 제공합니다. Vault의 워크플로우는 다음과 같습니다. 먼저, 사용자가 누구인지 확인하고 인증에 성공하면 Vault Token을 생성합니다. 그 다음 여러 검증 소스를 통해 사용자를 검증하고 생성된 Token에 보안 정책을 부여하고 권한을 부여합니다. 그 후 사용자는 Token을 이용하여 비밀, 키, 기능 등에 접근하여 액세스 할 수 있는 권한을 부여받게 됩니다. 예로 들어, 우리.. 2024. 3. 7.
[Git] switch/restore 안녕하세요 BTC-1tier팀의 One입니다 오늘은 Git의 Switch와 restore 명령어에 대해서 알아보겠습니다. 여러분은 Git의 Checkout 명령어를 아시나요? 아마 Git을 자주 사용하시는 분이면 굉장히 익숙한 명령어일텐데요 문제는 이 Checkout이라는 하나의 명령어가 가진 기능이 너무 많습니다. checkout은 branch 생성 및 전환할 수 있는 기능과, 커밋 이후로 파일이 변경되었을 시, 최근 커밋 기준으로 파일을 되돌리는 기능을 가지고있는데요 이 명령어를 대체하기 위해 Git 2.23부터 switch와 restore가 도입되었다고 합니다. 세가지 명령어의 기능을 간단히 정리하면 다음과 같습니다. 명령어 실행 checkout Switch branches or restore wo.. 2024. 2. 28.
AWS CloudFormationd으로 기존 리소스 IaC 템플릿 생성하기 베하~! 1-Tier팀 입니다. 이번 포스팅에서는 AWS CloudFormation을 이용하여 IaC 템플릿을 만드는 기능에 대해 알아보도록 하겠습니다. AWS CloudFormation(이하 CF)은 코드형 인프라로 클라우드 프로비저닝을 가속화 할 수 있도록 하는 서비스 입니다. 인프라를 전 세계로 쉽게 확장하고 계정 및 리전의 리소스를 쉽게 관리할 수 있습니다. CF를 사용하면 인프라를 코드 형태인 IaC로 처리하여 AWS 및 서드 파티 리소스를 모델링 하고 프로비저닝 할 수 있습니다. 이제 CF의 IaC 생성기를 사용하면 아직 CF에서 관리하지 않는 계정에 프로비저닝 된 리소스를 포함한 템플릿을 생성할 수 있습니다. 이를 활용하여 기존 리소스를 CF로 가져오거나 새 계정, 새 리전에 배포할 수 있습.. 2024. 2. 19.
[Python] Requests 안녕하세요! BTC 1-Tier팀의 One입니다 ㅎㅎ 오늘은 파이썬에서 HTTP 요청을 다루는 강력하고 사용자 친화적인 라이브러리인 requests 모듈에 대해 알아보겠습니다. 웹 개발이나 API 통신과 관련된 프로젝트를 진행하는 경우에는 거의 필수적으로 사용되는 이 모듈은 간단하고 직관적인 API로 HTTP 요청을 처리하는 데 도움을 줍니다. 1. requests 모듈 설치 먼저, requests 모듈을 설치해야 합니다. 아래 명령어를 사용하여 간단하게 설치할 수 있습니다. pip install requests 2. 기본적인 GET 요청 requests 모듈을 사용하여 간단한 GET 요청을 보내는 방법을 알아봅시다. import requests url = "https://api.example.com/d.. 2024. 1. 29.

티스토리툴바