막내즈5 Hadoop이란? 안녕하세요~! 막내즈입니다!!!!! 오늘은 빅데이터와 관련된 오픈소스인 Hadoop 에 대해서 알아보도록 하겠습니다. 1.1 Hadoop이란? 빅데이터 분석이 쉬워진 것은 하둡이 나오면서 부터입니다. 하둡은 대용량의 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 플랫폼. 정형 데이터 및 사진 영상 등의 비정형데이터를 효과적으로 처리하는 오픈소스 빅데이터 솔루션 1.2 Hadoop의 필요성 하둡은 어떤 수준의 장비든지 하둡을 설치하여 운용할 수 있습니다. (온프레미스, 대용량, RDBMS 모두 가능) 하둡은 복제본을 저장하기 때문에 유실이나 장에에도 데이터 복구를 할 수 있다는 장점이 있습니다. - 확장성 - 경제적 - 효율성 - 신뢰성 2.1 HDFS HDFS : Hadoop Distributed F.. 2023. 3. 6. Azure Table Storage 안녕하세요~~~~~BTC 막내즈입니다~ 오늘 알아볼 내용은 Azure Table Storage에 대해서 간단히 알아보겠습니다. Table Storage란? Azure Table Storage는 많은 양의 구조화된 데이터를 저장합니다. 이 서비스는 Azure 클라우드 내부 및 외부에서 인증된 호출을 수락하는 NoSQL 데이터 저장소입니다. Azure 테이블은 구조화된 비관계형 데이터를 저장하는데 적합합니다. TableStorage의 용도는 다음과 같습니다. 웹 규모 애플리케이션을 처리할 수 있는 구조화된 데이터 TB 저장 복합 조인, 외래 키 또는 저장 프로시저가 필요하지 않고 빠른 액세스를 위해 역정규화할 수 있는 데이터 세트 저장 클러스터형 인덱스를 사용하여 신속하게 데이터 쿼리 WCF 데이터 서비스 .. 2022. 7. 12. Azure Blob Storage 안녕하세요. 막내즈입니다 ~!~!! 오늘은 Azure Blob Storage에 대해서 알아보도록 하겠습니다 !! Azure Blob Storage란? 대용량의 정형화되어 있지 않은 데이터를 저장하기에 최적화 된 저장소 (정형화되어있지않은 데이터란 특정 모델로 정의되지 않은 데이터로 텍스트나 바이너리 형식의 데이터를 말한다.) Azure Blob Storage의 목적 1. 이미지나 문서를 브라우저에 용이하게 저장 2. 분산 접근을 위한 파일 저장 3. 영상과 음성 파일 실시간 스트리밍 4. 로그 파일 작성 5. 백업과 복원, 장애 복구(DR), 아카이브 용도 6. 온프레미스나 클라우드 환경 서비스의 분석을 위한 데이터 저장 Blob Storage의 리소스 유형 Blob storage는 위와 같은 구조로 되.. 2022. 7. 8. Kubectl 명령어 실습 안녕하세요. 막내즈입니다~!~!! 오늘은 쿠버네티스의 kubectl 명령어를 사용하여 실습해보록 하겠습니다. (해당 환경은 리눅스입니다.) kubectl run webserver --image=nginx:1.14 --port 80 (Kubectl명령어로 webserver라는 이름의 이미지 nginx:1.14를 실행해준다. 그리고 80번 Port를 열어준다.) kubectl describe pod webserver (kubectl명령어로 webserver라는 이름의 포드 정보를 더 자세히 출력) - Events(worker1번 노드에 성공적으로 할당되었고 도커 허브에서 nginx:1.14를 가지고 와서 webserver라는 컨테이너를 생성하고 시작한 것을 볼 수 있으며 그 외에 다른 정보들도 볼 수 있다... 2022. 5. 2. 쿠버네티스 환경 쿠버네티스는 오픈소스입니다. 여기서 바로 Red Hat OpenShift가 필요합니다. OpenShift는 기업의 쿠버네티스 뿐만 아니라 다양한 분야에도 사용할 수 있습니다. OpenShift에는 레지스트리, 네트워킹, 텔레메트리, 보안, 자동화, 서비스 등을 비롯한 부가 기술이 모두 내장되어 있어서 기업이 강력하고 실효성 있는 쿠버네티스를 구축할 수 있습니다. OpenShift를 사용하면 개발자는 확장성, 제어, 오케스트레이션을 통해 컨테이너화 된 새 애플케이션을 구축하고 호스팅하고 클라우드에 배포함으로써 우수한 아이디어를 새로운 비즈니스에 신속하게 연결할 수 있습니다. 쿠버네티스 기술과 방식 마스터 Master : 쿠버네티스 노드를 제어하는 머신입니다. 여기에서 모든 태스크 할당이 시작됩니다. 노드 .. 2022. 4. 13. 이전 1 다음
