본문 바로가기

CSP (Cloud Service Provider)/GCP191

Bigquery UDF 활용 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 오늘은 Bigquery UDF를 사용해보겠습니다! 개념부터 간단한 활용문을 작성할테니 함께 진행해보시죠 Bigquery UDF란? Bigquey UDF(User-Defined Function)란 SQL 표현식이나 JavaScript 코드를 활용하여 간단한 함수를 생성하는것으로 UDF를 통해 함수를 만들어 두게 되면 복잡한 로직을 더욱 간결하게 표현할 수 있고, 코드의 일관성을 유지할 수 있어 빅쿼리 활용에 도움이 됩니다!! UDF 자체의 저장비용은 없으며, 데이터 처리에 따라 비용이 발생하게 됩니다!! 하지만 저장 비용이 없다고 무분별하게 많이 생성하게 되면 디버깅이나 유지관리에 어려움이 있을 수 있으니 이런점 고려하여 사용이 필요하겠습니다 B.. 2024. 3. 31.
Composer PyPI Package 베하, 다들 잘 지내고 계신가요. 엊그제 새해가 온 거 같은데, 어느덧 1월의 마지막이 왔네요. 오늘은 Composer에서 PyPI Package에 대해 알아보겠습니다. 그럼, 시작하겠습니다. 먼저 PyPI Package의 종류에 대해 알아보겠습니다. Preinstalled PyPI Package는 해당 환경의 Composer Image에 포함된 Package입니다. 각 Composer Image에는 Composer 및 Airflow Version과 관련된 PyPI Package가 포함됩니다. Custom PyPI Package는 Preinstalled PyPI Package 외에 추가로 Environment 에 설치할 수 있는 Package입니다. Package를 List하는 방법에 대해 알아보겠습니다.. 2024. 1. 31.
IntelliJ로 SSH 세션 접속 베하 ~! 😊 오늘은 간단하게 IntelliJ에서 바로 GCP Compute Engine을 사용할 수 있도록 환경 설정하는 방법에 대해 알아보겠습니다. 1. Google Cloud Code 플러그인 설치 및 Account 추가 File > Settings > Plugins에서 'google cloud code' 검색해서 Install 해줍니다. 설치 후 IntelliJ 재시작 해줍니다. 재시작 후 우측에 있는 Compute Engine 아이콘 Click하여 Add Account로 로그인해줍니다. 이후 사용할 VM이 있는 Project를 선택해서 OK 해줍니다. 그러면 해당 Project에 있는 VM들의 상세 정보들을 볼 수 있습니다. 2. Browse Remote SSH 이제 해당 VM을 IntelliJ.. 2024. 1. 18.
VPC Service Control 베하문땅훈과 루피입니다. 오늘은 VPC Service Control에 대해 알아보겠습니다.  1. VPC Service Control 이란?GCP VPC Service Control은 Google Cloud Platform (GCP)에서 제공되는 서비스 중 하나입니다. 이 서비스는 기업이 GCP 가상 사설 클라우드(VPC)에서 특정 서비스 및 리소스에 대한 엑세스를 제어할 수 있도록 도와줍니다. VPC Service Control을 사용하면 기업은 보안 정책을 준수하고 비즈니스 규정을 준수하기 위해 GCP 리소스에 대한 엑세스를 관리할 수 있습니다. 이를 통해 기업은 데이터 보안과 규정 준수를 강화할 수 있습니다. 2. VPC Service Control 를 사용하는 이유?GCS 및 BQ 와 같은 서비스.. 2024. 1. 12.
Duet AI Bigquery 활용 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 GCP의 최신 기술 중 하나인 Duet AI를 BQ에 적용해서 함께 사용해볼거에요~ 한번 같이 살펴볼까요? Duet AI란? Duet AI에 대해 들어보셨나요? 이번 Google Cloud Summit Seoul 2023 행사에서도 구글이 강조한 기능인데요!! 간단히 설명하면 구글의 플랫폼 사용자를 AI가 지원하는 기능이라고 볼 수 있습니다. 특히 업무적으로는 클라우드 사용과 코드 작성에 어려움이 있는 사용자에게도 쉽게 구글의 서비스를 활용 할 수 있도록 지원해줍니다! 가장 쉽게 찾아볼 수 있는건 GCP 콘솔에서 검색 창 옆에 있는 Open Duet AI 기능이겠네요!! 이 기능은 GCP의 기능이나 사용 방법에대해 편하게 물어볼 수 있.. 2024. 1. 5.
Cloud Build란? 베하. 다들 2024년 복 많이 받으세요! 올해도 열심히 달려봅시다. 오늘의 포스팅 주제는 Cloud Build란 무엇이고, Cloud Build를 이용한 간단한 Build 및 Deploy에 대해 알아보겠습니다. Cloud Build는 GCP에서 제공하는 Build를 실행하는 서비스입니다. Cloud Build는 다양한 저장소 또는 Cloud Storage에서 Source Code를 가져오고, 사양에 맞게 Build를 실행하며, Docker Container 또는 Java Archive와 같은 Artifact를 생성할 수 있습니다. 또한 Cloud Build를 사용하여 Software 공급망을 보호할 수 있습니다. Cloud Build 기능은 Software Artifact Level 3의 공급망 수준 .. 2024. 1. 3.
Bigquery Table 속성 일괄 수정 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Bigquery Table를 일괄 수정하는 방법을 함께 배워나갈거에요~ 업무적으로 되게 자주 사용하게 될 내용이니 꼭 익혀가시길 바래요!! Table 속성 수정하기 아마 익숙하지 않은 상태로 처음 이 과제를 받게 되면 콘솔을 먼저 살펴보시게 될거에요! 하지만 처음 수정을 위해 table의 세부정보를 수정하려하면 수정할 수 있는 항목이 적어서 당황하실거에요.. 하지만 만약 파티션 기준이나 Clustering field와 같은 내용을 고치고 싶다면 어떻게 해야 할까요? 이때는 Alter table 명령어를 사용해서 수정할 수 있습니다. ALTER TABLE mydataset.mytable SET OPTIONS ( description = .. 2023. 12. 27.
[GCP] Organization Policy 베하~ 안녕하세요 금쪽상담소의 오은영석사와 금쪽이 입니다. 오늘은 어느덧 동지인데요. 오늘 하루 낮은 짧지만 포근한 밤 되시길 바랍니다! 그럼 오늘은 어떤 주제에 대해 알아볼까요~? 두구두구두... 바로 Organization Policy입니다! 바로 알아보러 가봅시다! Organization Policy 란? 하나 이상의 Google Cloud 서비스를 제한하는 단일 제약조건의 구성입니다. Organization Policy는 조직, 폴더 또는 프로젝트 리소스에 설정되어 해당 리소스 및 모든 하위 리소스에 제약조건을 적용합니다. 제약조건 적용 방법과 적용 여부를 지정하는 하나 이상의 규칙이 포함되어 있습니다. 예를 들어 조직 정책에는 태그가 지정된 리소스에만 제약조건을 적용하는 규칙 하나 environ.. 2023. 12. 26.

티스토리툴바