dataproc1 Airflow를 통한 Dataproc 연동 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Dag를 사용해서 Cloud Dataproc를 조작해보도록 하겠습니다!! Dataproc은 처음 다루는 내용이니 개요부터 차근차근 진행하겠습니다~ 개요 Dataproc이란? Airflow Dag를 활용한 Dataproc 사용 1. Dataproc이란? Dataproc은 일괄 처리, 쿼리, 스트리밍, 머신 러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 Spark 및 Hadoop 서비스라고 Docs에 설명되어 있습니다. 간단히 말씀드리면 손쉽게 용도에 맞는 오픈소스 도구를 포함한 클러스터를 생성 및 관리해주는 서비스라고 생각하시면 될것 같습니다! Data proc의 대표적인 장점은 다음과 같습니다. 1. 비용 절감 가.. 2023. 8. 16. 이전 1 다음
