인사통27 Bigquery View 쿼리 일괄 수정 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Bigquery View를 일괄 수정하는 방법을 함께 배워나갈거에요~ 혹시 View에 대해 익숙하지 않은분은 아래 포스팅을 먼저 확인해주세요!! Bigquery View 관리 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Bigquery View에 대해 함께 배워나갈거에요~ 개념부터 시작해서 사용법, 그리고 Authorized View를 통한 활용까지 알려드릴게요!! Bigquery V btcd.tistory.com View query의 쿼리 수정 이전 포스팅에서 View는 SQL 쿼리를 저장하여 다른 테이블의 데이터를 참조할 수 있는 기능이라고 말씀 드렸죠? 아마 테스트가 아닌 실제 환경에서는 이러한 View의.. 2023. 11. 10. Bigquery View 관리 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Bigquery View에 대해 함께 배워나갈거에요~ 개념부터 시작해서 사용법, 그리고 Authorized View를 통한 활용까지 알려드릴게요!! Bigquery View란 Bigquery의 View는 SQL 쿼리를 저장하여 다른 테이블의 데이터를 참조할 수 있는 기능입니다. 실제로 데이터가 존재하는것은 아니고, 참조만 하기때문에 실제 데이터를 저장하는 테이블과는 차이가 있습니다! 이러한 차이때문에 테이블과는 다르게 사용되는데요 View와 테이블의 차이에 대해 말씀드리면 아래와 같습니다. 데이터 저장 테이블(Table): 실제 데이터를 저장합니다. 즉, 데이터가 물리적으로 디스크에 저장됩니다. 뷰(View): 데이터를 저장하지 않습니.. 2023. 10. 27. Policy tag를 통한 Bigquery 정보 관리 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! Policy tag를 통한 Bigquery 정보 관리를 함께 진행하겠습니다! GCP 환경에 익숙하지 않으면 어려울 수 있으니 쉬운 방법으로 진행하겠습니다! Policy Tag는 GCP 환경에서 사용하는 기능으로, 주로 데이터 관리 및 보안에 초점을 맞춘 기능입니다. Google Cloud의 다양한 서비스와 통합되어 데이터를 분류하고, 이 분류를 기반으로 특정 데이터에 대한 액세스 및 관리 정책을 적용할 수 있습니다!! 자세한 개념에 대해서는 금쪽상담소님의 과거 포스팅을 참고해주세요~ [GCP] 정책 태그 개념 및 설정 방법 베하~! 안녕하세요! 이번주에도 돌아온 금쪽상담소의 오은영석사와 금쪽이 입니다. 한주동안 잘 지내셨나요? 이번주는 선선해.. 2023. 10. 13. Linux 디스크 명령어 정리 베하! 인사통 인사드립니다. 즐거운 추석 잘보내고 계신가요? 오늘은 Linux 디스크 명령어에 대해서 알아보는 시간을 가져볼게요! 디스크 여유 용량 확인 df(Disk Free) 시스템 전체에 마운트 된 디스크의 여유 공간을 출력하는 명령어 인데요. 파일시스템, 디스크 크기, 사용된 용량, 사용가능한 용량, 사용된 용량의 비율, 마운트된 지점을 순서대로 보여줍니다. USB메모리나 SD카드의 저장공간도 여기서 확인이 가능합니다! $ df - 디스크 남은 용량 확인 (기본 명령어) $ df -k - 킬로바이트 단위로 남은 용량 확인 $ df -m - 메가 바이트 단위로 남은 용량 확인 $ df -h - 깔끔하게 보여주는 명령어 $ df . - 현재 디렉토리가 포함된 파티션의 남은 용량 확인 실세로 명령어를 .. 2023. 9. 29. Airflow Task의 BQ Job 다루기 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Task를 통해 진행된 Bigquery의 Job을 다뤄보겠습니다! 오늘은 평소보다 조금 간략한 내용이 될 수 있어요 하지만 생각보다 자주 사용하게 될거에요! 개요 Airflow Task의 수행 BQ job id 확인하기 확인한 job id를 통한 활용 1. Airflow Task의 수행 BQ job id 확인하기 Airflow를 통해 BQ 명령을 수행시키는 경우에 주의할 점이 있습니다. 바로 BQ Slot 사용량입니다. 개인이 아닌 회사 수준의 환경에서는 BQ를 사용하는 경우 Slot을 Reservation형태로 사용하는 경우가 많습니다.. 이런 경우 Airflow를 통해 Scheduling된 작업을 진행할 때 항상 BQ.. 2023. 9. 28. Cloud Composer의 내부DB 접근 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Cloud Composer의 Worker를 통해 내부 DB에 접근해보도록 하겠습니다!! 함께 시작해 보시죠!! 개요 Composer GKE 연결하기 Composer Worker 접속하기 내부 DB 연결하기 1. Composer GKE 연결하기 먼저 Composer의 Worker에 접근하기 위해서는 먼저 Composer 와 함께 생성된 GKE와의 연결이 필요합니다! 먼저 접근할 GKE의 상단 CONNECT를 통해 접근하기 위한 연결 명령어를 확인하실 수 있습니다. 연결이 되면 kubectl 명령어 등을 통해 kubernetes환경 내 명령어 사용이 가능합니다. 수행 명령어 예시 $ gcloud container clusters get-c.. 2023. 9. 14. Git Branch의 개념과 활용 베하~~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘 함께할 내용은 Git의 기능중 하나인 Git Branch에 대해서 알려드릴게요~ 간단한 개념과 실무에서의 활용 내용에 대해서도 알아보자구요! 개요 Git Branch의 개념 Git Branch의 활용방안 Git Branch의 개념 Git은 소스 코드의 버전 관리를 위한 도구로, 여러 개발자들이 동시에 작업을 할 수 있게 해주는 도구입니다!! Git Branch는 이러한 작업 환경에서 특정 기능이나 수정 사항을 독립적으로 관리할 수 있게 도와줍니다~ 간단하게 말하면, branch는 프로젝트의 독립적인 복사본이라고 생각할 수 있습니다. 기본적으로 모든 Git 프로젝트에는 master branch가 있으며 새로운 branch를 생성하여 작업.. 2023. 9. 1. Airflow를 통한 Dataproc 연동 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Dag를 사용해서 Cloud Dataproc를 조작해보도록 하겠습니다!! Dataproc은 처음 다루는 내용이니 개요부터 차근차근 진행하겠습니다~ 개요 Dataproc이란? Airflow Dag를 활용한 Dataproc 사용 1. Dataproc이란? Dataproc은 일괄 처리, 쿼리, 스트리밍, 머신 러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 Spark 및 Hadoop 서비스라고 Docs에 설명되어 있습니다. 간단히 말씀드리면 손쉽게 용도에 맞는 오픈소스 도구를 포함한 클러스터를 생성 및 관리해주는 서비스라고 생각하시면 될것 같습니다! Data proc의 대표적인 장점은 다음과 같습니다. 1. 비용 절감 가.. 2023. 8. 16. 이전 1 2 3 4 다음
