data3 Apache Iceberg 베하~! 안녕하세요 1-Tier팀 입니다. 이번에는 대규모 데이터 레이크 관리를 위한 오픈소스인 Apache Iceberg에 대해 알아보겠습니다. Apache Iceberg Apache Iceberg는 페타바이트 기반의 데이터를 위한 오픈소스로, Netflix에서 개발하여 2020년부터 오픈소스로 사용되었습니다. Apache Iceberg는 데이터 레이크에 저장된 대규모 데이터 세트를 테이블로 관리할 수 있고 데이터 처리를 위한 지원을 해준다는 것입니다. 기존 Apache Hive 기반의 빅데이터 처리 방식은 ACID 트랜잭션을 지원하지 않아 데이터의 일관성과 무결성 보장을 하지 않았지만, Apache Iceberg는 ACID를 보장하여 데이터의 일관성과 무결성을 보장할 뿐만 아니라 데이터 변경 시 레코.. 2024. 4. 8. Google Analytics란? 베하~ ! 안녕하세요 여러분~ 인사통 BTC_김회장 BTC_최총무 입니다. “세상은 지금 정보기술(IT, Information Technology) 시대에서 데이터기술(DT, Data Technology) 시대로 가고 있다” – 알리바바그룹 마윈 회장, 2015년 – 오늘날 데이터 분석이란 단순히 데이터를 결과로만 바라보던 과거에서 벗어나 소비자의 행동 패턴과 결합해 고객을 이해하는 도구로 활용되고 있고 ,이를 사용하기위해 데이터를 다루기 위한 데이터베이스 관리 시스템(DBMS) 에 대해 저번에 다같이 알아보았죠?! 혹시 까먹으셨다면 여기로! Go Go! https://btcd.tistory.com/1156 Google Cloud SQL 특징과 hands-on 베하~ ! 안녕하세요 여러분~ 인사통 BTC.. 2023. 7. 2. Google Cloud SQL 특징과 hands-on 베하~ ! 안녕하세요 여러분~ 인사통 BTC_김회장 BTC_최총무 입니다. 지난 2005년까지만 해도 0.16 ZB 규모로 생산되던 데이터 양이 2020년에는 64.2 ZB 규모일 정도로 증가했습니다. AI가 IT산업에 chat GPT로 엄청난 파란을 일으킨만큼 이제는 AI가 세상을 바꾸는 시대가 되었다고 해도 과언이 아닌데요. 이 AI도 거대한 데이터를 기반으로 우리가 얻고자 하는 답을 빠르게 알려주는 것처럼 데이터는 상품의 생산성과 품질 개선뿐만 아니라 근무 문화까지도 데이터 기반으로 디지털 전환을 꾀하는 시대가 왔습니다! 오늘날 데이터 분석이란 단순히 데이터를 결과로만 바라보던 과거에서 벗어나 소비자의 행동 패턴과 결합해 고객을 이해하는 도구로 활용되고 있는데요. 하지만! 이처럼 중요한 데이터가 저.. 2023. 6. 9. 이전 1 다음
