3대500034 Composer Airflow 데이터 베이스 접속 후 테이블 조회 및 삭제 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번 시간에는 저번 시간에 이어서 Composer 안의 Airflow 데이터 베이스 안의 테이블을 조회 및 삭제하는 방법에 대해 알아보도록 하겠습니다. 저번 시간에 연결했던 VM 창을 여신 다음 아래의 코드로 순차적으로 진행하시면 됩니다! 순서 composer gke 접속 -> 네임스페이스 확인 -> 해당 네임스페이스 pod 조회 -> pod 접속 -> 테이블 삭제 $ kubectl get ns composer-버전-airflow-버전- #로 이루어진 네임스페이스를 복사 $ kubectl get pod -n airflow-webserver-- #로 이루어진 pod 이름 복사 # 아래의 명령어를 통하여 해당 pod안에 접속하여 python을 실행.. 2023. 7. 17. [GCP] Composer 안의 Airflow 데이터 베이스 접속하기 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번 시간에는 Composer 안의 Airflow 데이터 베이스 접속에 대해 알아보도록 하겠습니다. Composer 2를 생성한 후 아래의 그림과 같이 airflow 웹페이지를 접속합니다. 홈페이지의 Admin 탭 -> Configurations로 들어가셔서 아래로 스크롤을 하시면 (ctrl +f) sql_alchemy_conn 매개변수가 보입니다. 예를 들어 이 매개변수의 값이 postgresql+psycopg2://root:example-password@127.0.0.1:3306/composer-1-17-0-airflow-2-0-1-400fa094이면 사용자 이름이 root, 비밀번호가 example-password, 데이터베이스 이름이 c.. 2023. 7. 13. Terraform & Terraformer 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번 시간에는 Terraform과 Terrafromer에 대해 알아보도록 하겠습니다 Terraform이란? Terraform은 하시코프Hashicorp에서 오픈소스로 개발중인 클라우드 인프라스트럭처 자동화를 지향하는 Infrastructure as Code, IaC 도구입니다. IaC는 코드로 인프라를 관리한다는 개념으로 테라폼에서는 하시코프 설정 언어HCL, Hashicorp Configuration Language을 사용해 클라우드 리소스를 선언합니다. 아마존 웹 서비스Amazon Web Service가 자체적으로 만든 AWS 클라우드 포메이션AWS CloudFormation의 경우 AWS만 지원하는 것과 달리 테라폼의 경우 아마존 웹 서비.. 2023. 7. 9. grafana 데이터소스 및 import 설정 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 기본적으로 Grafana는 오픈소스 툴으로 시계열 매트릭 데이터를 시각화 하는데 가장 최적화된 대시보드를 제공해주는 도구입니다. 다양한 DB및 데이터 소스를 연결하여 모니터링에 대한 시각화를 할 수 있는 장점이 습니다 . 대표적인 예시로 Prometheus & influx DB & AWS Cloudwatch & Google Cloud Monitoring 등 다양한 Datasource에서 데이터를 불러와 시각화 할 수 있습니다. 오늘은 AWS Cloudwatch를 datasource로 설정하여 데이터 소스를 가져오고 대시보드를 import하는 방법에 대해 알아도록 하겠습니다. 1. AWS Access Key 발급 AWS Cloudwatch의 데이.. 2023. 7. 6. RDS 백업 및 복원 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 데이터의 중요성이 커지는 요즘 데이터에 대한 유실을 최소화하고 유실이 발생하더라도 백업하여 복구하는 것이 중요합니다. 이번주에는 이러한 데이터를 저장하는 AWS RDS의 백업과 복원에 대해 알아보도록 하겠습니다. 1. RDS 백업 설정 아래의 설정 콘솔에서 RDS 접근 → Maintenance & Backups 클릭 스냅샷 생성 아래와 같이 스냅샷을 생성하여 DB를 백업합니다. 생성한 백업으로 RDS 복원 생성한 스냅샷에서 restore 작업 하는 방법입니다. 위의 복원과정에서 원하는 설정을 통해 신규 클러스터 생성할 수 있습니다. 신규로 생성한 DB에 접근하면 기존의 DB와 동일한 데이터베이스 및 테이블이 존재하는 것을 확인할 수 있습니다. .. 2023. 6. 23. OpenLens 설치 및 사용법 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 이번주에는 Open Lens에 대해 알아보도록 하겠습니다. Lens란? 쿠버네티스 클러스터 모니터링 도구로 쿠버네티를 사용하는 운영자들이 쿠버네티스의 환경을 효과적으로 관리할 수 있는 도구입니다. 기존의 CLI 환경에서 kubectl을 통해서도 클러스터를 관리할 수 있지만 Lens를 이용하면 UI를 통해 편리하게 쿠버네티스 클러스터를 관리할 수 있습니다. 이러한 Lens가 유료로 변경됨에 따라 OpenLens를 이용하면 Lens를 무료로 사용할 수 있습니다. 그럼 OpenLens 설치 및 사용법에 대해 알아보도록 하겠습니다 1. OpenLens 설치 아래의 git 링크로 들어가 각자의 환경에 맞는 파일을 다운해줍니다. https://github.. 2023. 6. 18. composer 업데이트 (수동 마이그레이션) 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 지난 주에 이어 이번주에는 composer 업데이트 (수동 마이그레이션)에 대해서 알아보겠습니다. composer 환경 구성 목표 현재 환경 버전 -> 목표 환경 버전 Composer 버전 1.18.7 → Composer버전 2.1.15 Airflow 버전 2.2.3→ Airflow버전 2.5.1 지난주와 다른 것은 지난주는 Airflow도 1버전이였지만 이번주는 Airflow가 2일 때 쓰는 업데이트 방법입니다. 마이그레이션 시 기존 composer 이름을 사용하지 못함 작업 방법 COMPOSER_1_ENV를 Cloud Composer 1 환경 이름으로 바꿉니다. COMPOSER_1_LOCATION을 Cloud Composer 1 환경이 있는.. 2023. 6. 9. composer 업데이트 (스냅샷을 이용한 마이그레이션) 베하~ 안녕하세요 3대 5000의 man, xoxo 입니다. 지난 주에 이어 이번주에는 composer 업데이트 (스냅샷을 이용한 마이그레이션)에 대해서 알아보겠습니다. composer 환경 구성 목표 현재 환경 버전 -> 목표 환경 버전 Composer버전 1.19.2 → Composer버전 2.1.15 Airflow버전 1.10.15→ Airflow버전 2.5.1 💡 해당 방법은 Cloud Composer 1, Airflow 1 환경에서 Cloud Composer 2, Airflow 2로 DAG, 데이터, 구성을 전송하는 방법 입니다. 마이그레이션 시 기존 composer 이름을 사용하지 못함 작업 방법 1. Airflow 2 호환성 확인 gcloud composer environments run \.. 2023. 6. 2. 이전 1 2 3 4 5 다음
