본문 바로가기

Database83

Hadoop이란? 안녕하세요~! 막내즈입니다!!!!! 오늘은 빅데이터와 관련된 오픈소스인 Hadoop 에 대해서 알아보도록 하겠습니다. 1.1 Hadoop이란? 빅데이터 분석이 쉬워진 것은 하둡이 나오면서 부터입니다. 하둡은 대용량의 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 플랫폼. 정형 데이터 및 사진 영상 등의 비정형데이터를 효과적으로 처리하는 오픈소스 빅데이터 솔루션 1.2 Hadoop의 필요성 하둡은 어떤 수준의 장비든지 하둡을 설치하여 운용할 수 있습니다. (온프레미스, 대용량, RDBMS 모두 가능) 하둡은 복제본을 저장하기 때문에 유실이나 장에에도 데이터 복구를 할 수 있다는 장점이 있습니다. - 확장성 - 경제적 - 효율성 - 신뢰성 2.1 HDFS HDFS : Hadoop Distributed F.. 2023. 3. 6.
REDIS Redis (Remote Dictionary Server) Redis는 Remote(원격)에 위치하고 프로세스로 존재하는 In-Memory 기반의 Dictionary(key-value) 구조 데이터 관리 Server 시스템입니다람쥐. 여기서 key-value 구조 데이터란, mysql 같은 관계형 데이터가 아닌 비 관계형 구조로서 데이터를 그저 '키-값' 형태로 단순하게 저장하는 구조를 말한다람쥐. 그래서 관계형 데이터베이스와 같이 쿼리 연산을 지원하지 않지만, 대신 데이터의 고속 읽기와 쓰기에 최적화 되어 있다. 그래서 Redis는 일종의 NoSQL 로 분류되기도 한다. 또한 Redis는 인 메모리(In-Memory) 솔루션으로도 분류되기도 하는데, 다양한 데이터 구조체를 지원함으로써 DB, Cache.. 2022. 12. 27.
PostgreSQL에 대하여 안녕하세요!!! 임오군란과 민씨의 오입니다.😊 이번 시간에는 PostgreSQL에 대해 알아보도록 하겠습니다 :) 차례는 아래와 같습니다. PostgreSQL이란? PostgreSQL기능 PostgreSQL모니터링 지금 바로 시작하겠습니다👍👍👍 PostgreSQL란? PostgreSQL은 확장 가능성 및 표준 준수를 강조하는 객체-관계형 데이터베이스 관리 시스템(ORDBMS)의 하나입니다. BSD 허가권으로 배포되며, 오픈소스 개발자 및 관련 회사들이 개발에 참여하고 있습니다. 데이터베이스 서버로서 주요 기능은 데이터를 안전하게 저장하고 다른 응용 소프트웨어로부터의 요청에 응답할 때 데이터를 반환하는 것입니다. 소규모의 단일 머신 애플리케이션부터 수많은 동시 접속 사용자가 있는 대형의 인터넷 애플리케이션.. 2022. 12. 12.
ETL이란? 안녕하세요 막내즈입니다. 오늘은 ETL에 대해서 공유드립니다. ETL이란? 추출(Extract), 변환(Transform), 로드(Load) 조직에서 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 허용되는 방법 최종 대상 (데이터베이스, 특히 운영 데이터 스토어 , 데이터 마트, 데이터 웨어하우스)로 변환 데이터를 적재한다. 데이터 웨어 하우스란? 데이터 웨어하우스는 POS 트랜잭션, 마케팅 자동화, 고객 관계 관리 시스템 등의 여러 소스에서 가져온 구조화된 데이터와 반구조화된 데이터를 분석하고 보고하는 데 사용되는 엔터프라이즈 시스템입니다. 데이터 웨어하우스는 임시 분석과 커스텀 보고서 생성에 적합합니다. 데이터 웨어하우스는 .. 2022. 11. 18.
데이터 민주화 (data democratization) 안녕하세요 막내즈입니다 오늘은 데이터 민주화에 대해서 공유드립니다. 데이터 민주화(data democratization)란? 데이터 민주화는 비즈니스 사용자가 데이터를 사용해 신속한 의사 결정을 내릴 수 있도록 이들에게 데이터에 대한 접근성을 부여하는 것입니다. 데이터 민주화에서 IT의 역할은 이들 사용자에게 데이터를 제공하는 것이 아니라, 조직의 통제 하에 필요한 데이터에만 접근하도록 하는 것입니다. 보편적인 사용자를 위한 디지털 정보 접근성 높이기 데이터를 이해하고 신속한 의사 결정을 내리기 위한 툴 제공 IT 담당자의 개입 없이 비즈니스 사용자에게 정보 시스템 개방 조직을 ‘데이터 우선’ 조직으로 만들어 경쟁력 향상 데이터 민주화가 나오게 된 이유는? 원천 데이터에서 인사이트를 도출하는 것은 어렵습.. 2022. 11. 18.
데이터 베이스 데이터베이스 사람이 만들어낸 공유 및 사용할 데이터를 저장하고 통합적으로 관리되는 데이터 저장소이다. 자료를 구조화 하여 저장 및 검색을 하고 자료 항목을 중복을 없애여 효율적으로 사용이 가능하다 (종속성의 문제 : 데이터 파일이 보조기억장치에 저장되는 방법이나 저장된 데이터의 접근 방법을 변경할 때는 응용프로그램도 같이 변경해야 한다.) 데이터베이스는 특정 조직의 업무를 수행하는 데 필요한 상호 관련된 데이터들의 모임으로, 최소의 중복으로 통합(integrated), 저장(stored)된 운영(operation) 데이터로 구성된다. 통합 데이터(integrated data) 중복을 배제하나, 경우에 따라 불가피하게 중복을 허용하는 데이터 이러한 의도적 중복은 항상 파악하여 관리할 수 있으며, 이러한 것.. 2022. 9. 26.
[24/365] Data Dictionary 안녕하세요, BTC 24/365팀입니다. 이번 포스팅에서는 Data Dictionary에 대해 알아보도록 하겠습니다. 목차 1. Data Dictionary란? 2. Data Dictionary의 종류 3. DBA_XXX Data Dictionary 4. V$XXX 1. Data Dictionary란? - Data Dictionary란 대부분 읽기전용으로 제공되는 테이블 및 뷰들의 집합으로 DB 전반에 대한 내용을 제공 - 오라클 명령어가 실행되면 Data Dictionary에 접근함 - Oracle은 데이터 사전을 계속 갱신하여 DB 구조, 권한, 데이터 등의 변경사항을 반영함 2. Data Dictionary의 종류 - DBA_XXX DB 전체에 포함되는 모든 객체에 대한 자세한 정보 - ALL_XX.. 2022. 7. 20.
[24/365] RAC와 HA의 정의와 차이점 안녕하세요! 24/365입니다!! 오늘은 RAC와 HA 각각의 정의와 차이점에 대해서 알아보도록 하겠습니다!! 1. HA란? HA는 'High Availability'의 약어입니다. 말 그대로 고가용성을 위해 사용하는 구성입니다. 뒤에 설명한 RAC 또한 동일하게 고가용성을 위해 사용하는 구성이지만 각각의 장, 단점이 있다고 생각하시면 될 것 같습니다. HA는 고가용성을 위해 각각의 Active와 Standby로 총 2개의 DB서버를 사용을 합니다. 총 2개의 서버 중 Active 서버에 장애가 생기면 바로 두 번째 DB 서버의 상태가 standby에서 Active로 바뀌게 되며 서비스를 하게 됩니다. HA구성의 장점은 구조가 아주 단순하고 구축비용이 저렴하다는 점, 그리고 평소에는 하나의 DB만 act.. 2022. 7. 1.

티스토리툴바