Bigquery 할당량 및 한도

베하~ 반갑습니다!!

 

인사통의 BTC_김회장, 최총무입니다!!

 

 

오늘은 Bigquery의 할당량과 한도에 대해 함께 배워나갈거에요~

 

함께 차근차근 진행해보시죠!!

---

Bigquery quota와 limit

Bigquery quota는 하드웨어, 소프트웨어, 네트워크 구성요소를 비롯해 Google Cloud 프로젝트가 사용할 수 있는 특정 공유 Google Cloud 리소스의 양을 제한합니다.

 

이러한 할당량을 초과하는 작업에 대해서는 대부분의 경우 시스템에서 관련 Google 리소스에 대한 액세스를 즉시 차단하고 수행하려는 작업이 실패하게 되어 할당량에 대해 잘 알아두는것이 중요합니다.

 

 

할당이 설정된 내용 중 대표적인 사항은 다음과 같습니다.

 

1. 일일 쿼터와 사용 제한
일일 쿼터는 하루 동안 BigQuery에서 수행할 수 있는 작업의 양을 제한합니다. 

2. 테이블 및 파티션 한도
BigQuery에서는 데이터의 관리와 쿼리 성능을 최적화하기 위해 테이블과 파티션 생성에 제한이 있습니다. 

3. 자원 사용 제한
BigQuery의 성능을 보장하기 위해 한번에 실행 할 수 있는 쿼리의 최대 수, 쿼리당 최대 데이터양 등에 제한이 있습니다.
4. API 요청 한도

API를 통한 데이터 관리와 쿼리의 안정성을 보장하기 위해 Bigquery API를 통한 요청에도 제한이 있습니다.

 

기본적으로 프로젝트 내 쿼리가 처리할 일일 쿼리 사용량에는 따로 제한이 없으나, Bigquery 쿼리 처리 위치와 Cloud SQL 인스턴스 위치가 다르면 일 1TB의 제한이 있는 등 예기치 못한 작업 실패가 발생할 수 있습니다.

 

위처럼 Quota가 적용되는 내용에 대해서는 기준에 따라 다르니 docs를 참고하는게 중요합니다.

Docs를 함께 첨부드리니 확인 부탁드립니다!

할당량 및 한도  |  BigQuery  |  Google Cloud

 

이러한 일일 쿼리에 대한 할당량말고도 테이블들에 대한 할당량도 있습니다!

아래는 테이블 할당량에 대한 docs입니다.

할당량 및 한도  |  BigQuery  |  Google Cloud

특히 테이블당 최대 열 수나 테이블 당 최대 파티션 수 같은 경우에는 데이터양이 많고 자동화가 잘 되어있는 환경일 수록 신경쓰기 어려워서 문제가 발생할 수 있습니다.

 

예를들어 Airflow 등을 통해 dag로 일별 테이블 적재를 자동화 해두었다고 가정했을때,

한시간마다 적재를 하여 partition 기준을 Hour로 설정했다고 생각해봅시다.

그러면 하루에 24개씩의 partition table 생기니 한도인 4,000개는 166.67이 나오겠네요!!

 

반년도 안되서 한도가 차다니 생각보다 오래 걸리지 않죠?

이런 자동화 환경에서 갑자기 할당량으로 인한 에러가 발생한다면 어떤 해결 방법이 있을까요?

 

 

파티션 만료일 설정

가장 간편한 방법은 파티션 만료일을 설정해주는것입니다.

Hourly로 적재한 데이터는 Daily 기준등으로 필요한 정보만 추출해주고 Hourly로 추출한 데이터는 파티션 만료일을 설정해준다면 따로 Table partition quota로 인한 에러가 발생할 일은 없을것 같네요!!

 

말씀드린대로 4,000개까지 적재되는데 166.67일이 걸리니 만료일은 최대 166일까지 설정해두면 되겠죠?

---

오늘은 간단히 Bigquery의 할당 제한에 대해 알아보았습니다!!

Docs를 보면 쉽게 원인을 파악할 수 있지만 할당량에 대한 지식이 없었다면 헤맬 수 있는 부분입니다.

여러분은 할당량 제한에 대해 배웠으니 한가지 가능성을 배운 셈이죠?

그럼 다음 시간에도 재미있고 유용한 정보들을 알려드리러 오겠습니다!!

모두 베빠!!