본문 바로가기

Database82

Pub/Sub 베하 ~! 😊 오늘은 'Pub/Sub'에 대해 알아보겠습니다. Pub/Sub은 구글 클라우드 플랫폼(GCP)에서 제공하는 메시징 서비스 중 하나로, 이벤트 기반 아키텍처를 구현하는 데 사용됩니다. 여러 컴포넌트 간에 데이터를 안전하게 전송하고 분산된 시스템 간에 통신하는 데 중요한 역할을 합니다. Pub/Sub을 알기 전부터 Message Queue에 대해서 간단하게 설명하고 넘어가겠습니다. Message Queue란? 분산 시스템에서 각 컴포넌트 간의 통신을 돕는 소프트웨어 패턴 중 하나 비동기적으로 메시지를 주고받을 수 있도록 설계되었으며, 시스템의 다양한 부분 간에 데이터를 안전하게 전송하는 데 사용 (1) 비동기 통신: 송신자와 수신자가 실시간으로 직접 통신하지 않고, 메시지 큐를 통해 비동기적으.. 2023. 12. 15.
Parquet 데이터 수정하기 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Parquet 형태 데이터 및 수정방법 대해 간단히 실습 해보겠습니다! 다음과 같은 형태로 진행하겠습니다!! 개요 Parquet 파일이란? Parquet 데이터 수정하기 1. Parquet 파일이란? Parquet란 데이터 처리 및 분석을 위한 오픈 소스 컬럼 기반 데이터 저장 포맷으로, 대용량 데이터의 저장과 처리에 유용합니다. 주로 하둡 생태계에서 많이 사용됩니다. 장점 1. Column 단위 저장방식으로 대용량 파일 Scan에 효율적 열단위 저장 방식을 통해 특정 열에 대한 검색 및 집계 작업을 최적화 하여 전체 데이터를 스캔하지 않아도 된다. 2. 다양한 압축 기법과 인코딩 형태를 지원 상황에 맞는 다양한 압축 기법을 제공해 편.. 2023. 12. 8.
Cloud Spanner 베하 ~! 😊 오늘은 'Cloud Spanner'에 대해 알아보겠습니다. Cloud Spanner Google Cloud Platform (GCP)에서 제공하는 분산형 데이터베이스 서비스로, 관계형 데이터베이스의 기능과 비 관계형 수평 확장성을 결합한 데이터베이스 서비스 및 스토리지 솔루션 글로벌 규모에서 데이터를 효과적으로 관리하고 조회할 수 있는 고성능 및 고가용성 제공 NewSQL (NewSQL = RDB(ACID지원) + NoSQL(Scale-out지원)) 여기에 몇 가지 주요 특징을 살펴보겠습니다. 특징 (1) 분산 데이터베이스의 효율적인 활용 Cloud Spanner는 분산 데이터베이스로서, 데이터를 여러 위치에 분산 저장하여 높은 가용성과 성능을 보장 ⇒ 글로벌 규모에서 어떤 지역에서든 데이.. 2023. 11. 24.
Redis란 베하 ~! 😊 오늘은 'Redis'에 대해 알아보겠습니다. Redis란? Redis는 Remote Dictionary Server의 약자로, 오픈 소스 기반의 고성능 NoSQL 데이터베이스입니다. 주로 메모리 내 데이터 저장소로 사용되며, 데이터베이스, 캐시, 메시지 브로커 등 다양한 용도로 활용됩니다. Redis Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker redis.io 특징 1. 메모리 기반 데이터 저장 - Redis는 기본적으로 In-Memory 기반입니다. 데이터를 메모리에 저장하고 빠른 읽기 및 쓰기 성능을 제공합니다. 이는 디스.. 2023. 11. 10.
Transactional 애노테이션 상황별 commit, rollback 전략 안녕하세요 여러분 베하입니다! 훌쩍 겨울이 다가왔네요! 다들 올해는 잘 보내고 계신가요? 오늘 이야기 저번 주제를 이어 spring boot의 @Transactional 애노테이션의 commit, rollback 전략을 이야기 하고자 합니다. 사실 저는 이 부분에 대해 몰랐기 때문에 트랜잭션 처리에 있어 많은 삽질을 해버렸습니다… 오늘의 내용이 꼭 도움이 되길 바라는 마음으로 시작하겠습니다. 서론 Spring Boot 애플리케이션을 개발하면서 @Transactional 애노테이션은 데이터베이스 트랜잭션 관리를 용이하게 해주는 중요한 도구 중 하나입니다. 그러나, 이 애노테이션을 사용할 때 어떻게 예외 상황을 처리하고, 언제 커밋 또는 롤백해야 하는지에 대한 전략을 제대로 이해하는 것은 매우 중요합니다. .. 2023. 10. 27.
[Database] AQueryTool 사용 방법(1) 베하~ 뉴진쓰 팀의 큰뉴진입니다! 오늘은 색다른 주제를 들고 와봤는데요? 바로 테이블을 시각화 할 수 있는 툴을 가져와봤어요~ 이번에 AQueryTool 사용법을 배워서 쉽고 간편하게 데이터 베이스에 입문해보자구요. 데이터베이스 / 테이블 생성하기 먼저 사이트에 접속해요. https://aquerytool.com/ AQueryTool AQueryTool은 웹 기반 ERD 툴 + SQL 자동 생성 프로그램입니다. aquerytool.com 사이트에서 바로 오른쪽 클릭을 하면 아래처럼 리스트를 확인할 수 있는데요, 여기서 테이블 추가를 눌러줘요. 그러면 테이블에 담을 데이터베이스가 아직 생성되지 않아서 ERD를 설정하게 되요. 여기서 몇개만 입력하면 데이터베이스가 만들어져요~ - 데이터 베이스 타입 선택 데.. 2023. 10. 24.
구글 태그 매니저 (Google Tag Manager) 베하 ~! 😊 오늘은 지난 시간에 알아본 GA4에 이어서 디지털 마케팅의 필수 도구 중 하나인 구글 태그 매니저(GTM)에 대해 알아보겠습니다. 1. 정의 구글 태그 매니저는 웹사이트에 코드를 직접 추가하지 않고도 태그를 효과적으로 관리하고 배포할 수 있는 도구입니다. 이를 통해 마케터와 개발자 간의 협업이 원활해지며, 웹사이트의 성능 및 트래픽을 추적하는 데 큰 도움을 줍니다. GTM과 GA4를 동시에 써야하는건 필수가 아니지만, 고도화된 마케팅 분석을 위해서라면 GTM과 GA4를 같이 써주는 것이 효율적입니다. GA : 웹 사이트에 GA 스크립트를 삽입 여러 유입 / 행동 레포트나 중요사항에 대한 목표/전환 설정 GTM : 웹사이트의 GTM 스크립트를 삽입한 후, GTM을 통해 GA를 연결 (즉, G.. 2023. 10. 12.
Airflow Task의 BQ Job 다루기 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다!! 오늘은 Airflow Task를 통해 진행된 Bigquery의 Job을 다뤄보겠습니다! 오늘은 평소보다 조금 간략한 내용이 될 수 있어요 하지만 생각보다 자주 사용하게 될거에요! 개요 Airflow Task의 수행 BQ job id 확인하기 확인한 job id를 통한 활용 1. Airflow Task의 수행 BQ job id 확인하기 Airflow를 통해 BQ 명령을 수행시키는 경우에 주의할 점이 있습니다. 바로 BQ Slot 사용량입니다. 개인이 아닌 회사 수준의 환경에서는 BQ를 사용하는 경우 Slot을 Reservation형태로 사용하는 경우가 많습니다.. 이런 경우 Airflow를 통해 Scheduling된 작업을 진행할 때 항상 BQ.. 2023. 9. 28.

티스토리툴바