composer5 Composer PyPI Package 베하, 다들 잘 지내고 계신가요. 엊그제 새해가 온 거 같은데, 어느덧 1월의 마지막이 왔네요. 오늘은 Composer에서 PyPI Package에 대해 알아보겠습니다. 그럼, 시작하겠습니다. 먼저 PyPI Package의 종류에 대해 알아보겠습니다. Preinstalled PyPI Package는 해당 환경의 Composer Image에 포함된 Package입니다. 각 Composer Image에는 Composer 및 Airflow Version과 관련된 PyPI Package가 포함됩니다. Custom PyPI Package는 Preinstalled PyPI Package 외에 추가로 Environment 에 설치할 수 있는 Package입니다. Package를 List하는 방법에 대해 알아보겠습니다.. 2024. 1. 31. Composer란 베하 ! 😊 문땅훈과 루피입니다 !! 오늘은 'Cloud Composer'에 대해 알아보도록 하겠습니다. Cloud Composer란? Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 워크플로를 만들고 배포하기 위한 완전 관리형 서비스 Airflow 버전 1,2 모두 지원 (환경 세팅할 때 특정 Airflow 버전 선택 가능, 환경 업그레이드 가능) Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하여 사용자가 설치 또는 관리 오버헤드 없이 운영 가능 GKE에 기반을 둔 독립 실행형 Airflow 배포 Airflow에 기본 제공되는 커넥터를 사용하여 다른 Google Cloud 서비스와 함께 작동 Cloud Composer 환경 Composer의 구성은 크.. 2023. 6. 8. Composer DAG 자동 실행 방지 설정 방법 안녕하세요 MC에몽입니다. 이번 주는 GCP Composer 서비스의 DAG 자동 실행 방지 설정 하는 방법을 설명하겠습니다. Composer란, 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스입니다. 워크플로는 데이터 수집, 변환, 분석, 활용을 위한 일련의 Task를 뜻합니다. DAG란, 관계 및 종속 항목을 반영하는 방식으로 구성된 Task의 모음입니다. [1] 이러한 DAG는 기본적으로 생성을 하게 되면 아래와 같이 자동 실행이 되게끔 설정이 되어있습니다. 이러한 기본 설정은 DAG Migration을 할 경우에 수동으로 스위치를 OFF 시켜야 하는 경우가 있는데요. 이를 Airflow 옵션 설정을 통해서 방지할 수 .. 2022. 11. 11. Cloud Composer 안녕하세요~ BTC Hallo 팀입니다. 오늘은 GCP 빅데이터 구성에 큰 비중을 차지하고 있는 Composer에 대해 살펴보겠습니다. Cloud Composer는 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스입니다. Cloud Composer는 인기 있는 Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 Python 프로그래밍 언어로 작동합니다. Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하면 설치 또는 관리 오버헤드 없이 Airflow의 이점을 얻을 수 있습니다. Cloud Composer는 Airflow 환경을 신속하게 만들고 강력한 Airflow 웹 인터페이스 및 .. 2022. 9. 22. Cloud Composer 환경 업그레이드 안녕하세요~ Hallo 팀입니다. 오늘은 Cloud Composer 환경 업그레이드에 대해 알아보겠습니다. Airflow 또는 Cloud Composer 버전을 변경하면 환경이 업그레이드됩니다. 업그레이드해도 환경 버킷의 URL 또는 Airflow 웹 서버와 같은 사용자 환경의 리소스에 연결하는 방법은 변경되지 않습니다. 업그레이드 시 Cloud Composer는 다음을 수행합니다. Cloud Composer 이미지의 새 버전을 사용하여 환경 구성요소를 다시 배포합니다. 업그레이드 전에 환경에 커스텀 PyPI 패키지 또는 Airflow 구성 옵션 재정의와 같은 Airflow 구성이 있었던 경우 변경사항을 적용합니다. Airflow airflow_db 연결이 새 Cloud SQL 데이터베이스를 가리키도록 .. 2022. 8. 19. 이전 1 다음
