bigquery15 BigQuery - Time Travel이란? 안녕하세요, 엄.. 팀입니다. 슬슬 날씨가 풀리고 있네요. 이번 주말엔 연인분과 나들이를 나가보는 건 어떨까요? 금일의 주제는 GCP가 제공하는 BigQuery 서비스의 Time Travel입니다. Time Travel은 변경되었거나 삭제된 BigQuery에 저장된 데이터에 Access 할 수 있도록 해줍니다. 기본적으로 지난 7일간의 Time Travel이 가능합니다. 이런 Time Travel을 이용하여 업데이트 또는 삭제된 데이터를 Query하거나, 삭제된 Table을 복원하거나, 만료된 Table을 복원할 수 있습니다. FOR SYSTEM_TIME AS OF 절을 사용하여 Time Travel 기간 이내의 어느 시점에서든 Table의 이전 데이터를 Query할 수 있습니다. 이 절은 상수 Time.. 2023. 9. 1. GCP 환경에서의 프로젝트간 Data Migration 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께할 내용은 GCP환경에서 다른프로젝트로 Data를 Migration 해볼겁니다!! 쿼리를 통해 간단히 할 수 있으니 겁먹지 말고 진행하시죠~ 덮어씌워지는 목적지에 데이터가 있는경우 백업은 필수입니다!! 진정한 엔지니어는 최악의 상황에 대비해야 하는법... 개요 Bigquery 데이터 프로젝트간 Data Migration DB 데이터 프로젝트간 Data Migration 1. Bigquery 데이터 프로젝트간 Data Migration 클라우드를 사용하게 되면 단일 프로젝트를 사용하는 경우도 있지만 보통 개발과 운영환경으로 프로젝트를 분리하여 사용하는 경우가 대부분입니다! 이러한 경우 개발환경에서 성공적으로 테스트가 된 경우 운영환경.. 2023. 8. 1. Bigquery ARRAY, STRUCT 구조 베하 ! 문땅훈과 루피 입니다 ! 즐거운 한 주 보내셨나요~? 오늘은 GCP의 하이라이트 빅쿼리에 ARRAY, STRUCT에 대해서 알아보겠습니다. 레츠꼬 ! 개요 BigQuery Array BigQuery Struct UNNEST BigQurey는 SQL 문법을 사용하고 있지만 BigQuery 에서만 사용되는 ARRAY, STRUCT 그리고 UNNEST의 개념이 있습니다. ARRAY 형태의 데이터를 쿼리할 때 어떻게 사용하는지에 대해 알아보고자 합니다! BigQuery ARRAY ARRAY는 키와 값을 가지는 형태로 구성되어 있습니다. 아래 데이터와 같이 address_history 키에 status, address, postcode 라는 3개의 속성을 가지게 됩니다. 즉, 여러개의 값을 가지는 key.. 2023. 7. 7. 빅쿼리 보안 베하 ! 문땅훈과 루피입니다😊 오늘은 빅쿼리 보안에 대해 알아보겠습니다. 민감한 정보가 있는 데이터 보안은 정말 중요합니다. 즉, 모두에게 보여지면 당연히 안되는 것이고, 특정 사용자, 부서마다 부여된 권한에 따라 데이터들이 보여야 합니다. 여기서 민감한 컬럼 정보들에 대해 세분화된 권한을 부여해주는 BigQuery Column 보안인 ‘Policy Tags’가 있습니다. Policy Tags 빅쿼리 데이터베이스 내에서 데이터 에 대한 보안 및 액세스 제어를 설정하는 데 사용되는 도구 Policy Tag를 사용하면 데이터를 그룹화하고 정책을 적용하여 특정 사용자 또는 그룹에 대한 데이터 액세스 제어 가능 데이터의 구조, 민감도 또는 규정 준수와 같은 특성을 기반으로 데이터에 태그를 할당 사용자, 역할 또.. 2023. 7. 7. 빅쿼리 개념 및 특징 베하 ! 문땅훈과 루피입니다 !! 오늘은 'BigQuery'에 대해 알아보도록 하겠습니다. BigQuery란? 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 Fully managed Enterprise Data Warehouse 오늘 날 많은 조직이 구글 빅쿼리 같은 클라우드 기반 데이터 웨어하우스로 이전하는 주된 이유로 크게 5가지로 정리할 수 있습니다. (1) 고급 분석에 대한 비즈니스 요구와 더불어 비용 관리, 민첩성, 자체 서비스의 접근 인프라를 관리할 필요없이 기업은 익숙한 SQL을 사용해 의미있는 통찰력을 찾는 데이터 분석에 집중 가능 (2) 연산과 스토리지를 분리하는 서버리스 컴퓨팅 아키텍처 덕분에 아키텍처의 다양한 계층을 .. 2023. 6. 22. [GCP]BigQuery Slot의 종류 및 사용방법 안녕하세요 MC에몽입니다. 이번주는 GCP에서 제공하는 완전관리형 Data warehouse 서비스인 BigQuery에서 사용되는 가상 CPU인 Slot의 종류 및 사용방법에 대해 알아보겠습니다. 1. BigQuery Slot 이란? BigQuery는 완전관리형 서비스이기 때문에 사용자가 직접 인프라를 관리할 필요가 없습니다. BigQuery에서 작업시 사용되는 리소스는 Slot이라는 형태로 구현되어 있으며, 쿼리 크기와 복잡성에 따라 각 쿼리에 필요한 Slot 수를 자동으로 계산합니다. 2. Slot의 종류 Slot은 가격정책에 따라 2가지 종류로 나누어 집니다. 1) On-demand Pricing Slot On-demand, 주문형 가격 책정 모델의 Slot은 쿼리로 스캔한 데이터에 용량에 대한 비.. 2022. 10. 25. Time Travel을 이용한 Table 복구 방법 가이드 안녕하세요. MC에몽입니다. 오늘은 GCP BigQuery Dataset의 Table DATA를 Time Travel을 통해 복구하는 방법에 대해 알아보도록 하겠습니다. Time Trael은 7일 내로 삭제된 Bigquery Table을 복구할 수 있는 기능입니다. 먼저, 해당 작업을 실행하기 위해서는 다음과 같은 권한이 필요합니다. - Bigquery Admin (roles/bigquery.admin) 1. 이전에 삭제한 Dataset Name을 가진 Dataset을 생성합니다. - Dataset을 생성하지 않는 경우, 복구가 불가능하니 주의하시기 바랍니다. 2. 삭제된 Dataset 및 Table Name을 확인합니다. ============================ SELECT * FROM `r.. 2022. 10. 4. 이전 1 2 다음
