bigquery15 Bigquery UDF 활용 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 오늘은 Bigquery UDF를 사용해보겠습니다! 개념부터 간단한 활용문을 작성할테니 함께 진행해보시죠 Bigquery UDF란? Bigquey UDF(User-Defined Function)란 SQL 표현식이나 JavaScript 코드를 활용하여 간단한 함수를 생성하는것으로 UDF를 통해 함수를 만들어 두게 되면 복잡한 로직을 더욱 간결하게 표현할 수 있고, 코드의 일관성을 유지할 수 있어 빅쿼리 활용에 도움이 됩니다!! UDF 자체의 저장비용은 없으며, 데이터 처리에 따라 비용이 발생하게 됩니다!! 하지만 저장 비용이 없다고 무분별하게 많이 생성하게 되면 디버깅이나 유지관리에 어려움이 있을 수 있으니 이런점 고려하여 사용이 필요하겠습니다 B.. 2024. 3. 31. Duet AI Bigquery 활용 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 GCP의 최신 기술 중 하나인 Duet AI를 BQ에 적용해서 함께 사용해볼거에요~ 한번 같이 살펴볼까요? Duet AI란? Duet AI에 대해 들어보셨나요? 이번 Google Cloud Summit Seoul 2023 행사에서도 구글이 강조한 기능인데요!! 간단히 설명하면 구글의 플랫폼 사용자를 AI가 지원하는 기능이라고 볼 수 있습니다. 특히 업무적으로는 클라우드 사용과 코드 작성에 어려움이 있는 사용자에게도 쉽게 구글의 서비스를 활용 할 수 있도록 지원해줍니다! 가장 쉽게 찾아볼 수 있는건 GCP 콘솔에서 검색 창 옆에 있는 Open Duet AI 기능이겠네요!! 이 기능은 GCP의 기능이나 사용 방법에대해 편하게 물어볼 수 있.. 2024. 1. 5. Bigquery 할당량 및 한도 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Bigquery의 할당량과 한도에 대해 함께 배워나갈거에요~ 함께 차근차근 진행해보시죠!! Bigquery quota와 limit Bigquery quota는 하드웨어, 소프트웨어, 네트워크 구성요소를 비롯해 Google Cloud 프로젝트가 사용할 수 있는 특정 공유 Google Cloud 리소스의 양을 제한합니다. 이러한 할당량을 초과하는 작업에 대해서는 대부분의 경우 시스템에서 관련 Google 리소스에 대한 액세스를 즉시 차단하고 수행하려는 작업이 실패하게 되어 할당량에 대해 잘 알아두는것이 중요합니다. 할당이 설정된 내용 중 대표적인 사항은 다음과 같습니다. 1. 일일 쿼터와 사용 제한 일일 쿼터는 하루 동안 BigQuery에.. 2023. 11. 24. Bigquery View 관리 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Bigquery View에 대해 함께 배워나갈거에요~ 개념부터 시작해서 사용법, 그리고 Authorized View를 통한 활용까지 알려드릴게요!! Bigquery View란 Bigquery의 View는 SQL 쿼리를 저장하여 다른 테이블의 데이터를 참조할 수 있는 기능입니다. 실제로 데이터가 존재하는것은 아니고, 참조만 하기때문에 실제 데이터를 저장하는 테이블과는 차이가 있습니다! 이러한 차이때문에 테이블과는 다르게 사용되는데요 View와 테이블의 차이에 대해 말씀드리면 아래와 같습니다. 데이터 저장 테이블(Table): 실제 데이터를 저장합니다. 즉, 데이터가 물리적으로 디스크에 저장됩니다. 뷰(View): 데이터를 저장하지 않습니.. 2023. 10. 27. Policy tag를 통한 Bigquery 정보 관리 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! Policy tag를 통한 Bigquery 정보 관리를 함께 진행하겠습니다! GCP 환경에 익숙하지 않으면 어려울 수 있으니 쉬운 방법으로 진행하겠습니다! Policy Tag는 GCP 환경에서 사용하는 기능으로, 주로 데이터 관리 및 보안에 초점을 맞춘 기능입니다. Google Cloud의 다양한 서비스와 통합되어 데이터를 분류하고, 이 분류를 기반으로 특정 데이터에 대한 액세스 및 관리 정책을 적용할 수 있습니다!! 자세한 개념에 대해서는 금쪽상담소님의 과거 포스팅을 참고해주세요~ [GCP] 정책 태그 개념 및 설정 방법 베하~! 안녕하세요! 이번주에도 돌아온 금쪽상담소의 오은영석사와 금쪽이 입니다. 한주동안 잘 지내셨나요? 이번주는 선선해.. 2023. 10. 13. BigQuery - Query의 종류와 결과 쓰기 안녕하세요, 엄팀입니다. 다들 즐거운 연휴 보내고 계신가요? 날이 완전히 선선해진 거 같습니다. 천고마비의 계절이라고 다들 맛있는 거 많이 드시고 포동포동 살도 찌우셔요. 오늘의 포스팅 주제는 GCP가 제공하는 BigQuery Service에서 Query의 종류와 결과 쓰기입니다. 그럼, 오늘의 포스팅 시작하겠습니다. 기본적으로 BigQuery는 가능한 한 빨리 실행되는 대화형 Query로 작업을 실행합니다. 예약에서 실행되는 대화형 Query 수는 동시 한도에 반영되고, 이 한도에 도달하면 추가 Query가 실패하고 Error가 발생합니다. 주문형 가격 책정 모델을 사용하여 실행되는 Query의 경우 BigQuery는 리소스 가용성을 기준으로 동시 Query 한도를 동적으로 계산합니다. 이 한도에 도달.. 2023. 9. 30. Airflow Task의 BQ Job 다루기 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Task를 통해 진행된 Bigquery의 Job을 다뤄보겠습니다! 오늘은 평소보다 조금 간략한 내용이 될 수 있어요 하지만 생각보다 자주 사용하게 될거에요! 개요 Airflow Task의 수행 BQ job id 확인하기 확인한 job id를 통한 활용 1. Airflow Task의 수행 BQ job id 확인하기 Airflow를 통해 BQ 명령을 수행시키는 경우에 주의할 점이 있습니다. 바로 BQ Slot 사용량입니다. 개인이 아닌 회사 수준의 환경에서는 BQ를 사용하는 경우 Slot을 Reservation형태로 사용하는 경우가 많습니다.. 이런 경우 Airflow를 통해 Scheduling된 작업을 진행할 때 항상 BQ.. 2023. 9. 28. BigQuery - Data Set의 개념과 생성, 나열, 정보 확인 안녕하세요, 엄팀입니다. 드디어 무더위가 가시고 있는 것 같네요. BTC분들 모두 장마철 빗길 조심하고 환절기 대비 잘 하시길 바랍니다. 금일의 포스팅 주제는 BigQuery가 제공하는 Data Set입니다. Data Set은 Table과 View에 대한 Access를 구성 및 제어하는 데 사용되는 최상위 Container입니다. Table이나 View는 반드시 Data Set에 속해야 하므로, 개발자는 최소 한 개 이상의 Data Set을 만든 후에 Data를 BigQuery로 Load해야 합니다. Data Set을 생성하기 위해선 Data를 저장할 위치를 지정해야 합니다. us-west2, asia-northeast3, europe-west2 등의 Region을 지정해야 하는데, GCP가 지원하는 저.. 2023. 9. 15. 이전 1 2 다음
