본문 바로가기

최유온19

젠킨스 블루오션 2_젠킨스 블루오션 설정 환경 AWS로 CentOS 기반의 인스턴스 생성 후 도커 설치 첫번째. 젠킨스 블루오션 설치 표준 젠킨스를 설치 방법은 크게 두 가지가 있다. 젠킨스를 호스트 PC에 설치하는 방법과 도커를 이용해 젠킨스 컨테이너를 올리는 방법. 젠킨스 블루오션은 이렇게 설치된 젠킨스에 젠킨스 블루오션 플로그인으로 설치할 수 있다. 이렇게 두 단계에 거쳐 블루오션을 설치하는 방법도 있으나 이 서적에서는 간단하게 젠킨스 블루오션 도커 이미지 하나를 이용하여 표준 젠킨스와 블루오션 플러그인 설치를 한 방에 해결한다. (1) 젠킨스 + 젠킨스 블루오션 이미지 다운로드 이미지 명 뒤에 아무런 태그를 달지 않으면 최신 버전으로 다운로드 된다. 특정 버전으로 다운로드 받고 싶다면 버전을 (:태그)로 달아주면 된다. docker pu.. 2022. 8. 9.
GKE deamonset 데몬셋에는 두가지 업데이트 방법이 있다. OnDelete 데몬셋 템플릿을 업데이트 한 후 이전 데몬셋 파드를 수동으로 삭제할 때 RollingUpdate 기본 업데이트 방법이다. 데몬셋 템플릿을 업데이트 한 후 오래된 데몬셋 파드가 종료되고 새로운 데몬셋 파드는 제어방식으로 자동 생성된다. 전체 업데이트 프로세스 동안 데몬셋의 최대 하나의 파드가 각 노드에서 실행된다. ​ 롤링 업데이트를 사용하기 위해 .spec.updateStrategy.type에 RollingUPdate를 설정해야한다. ​ yaml 파일에 데몬셋을 명시하고 rollingupdate도 명시한다. apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd-elasticsearch names.. 2022. 8. 5.
젠킨스 블루오션 1_개요 첫번째. 젠킨스 블루오션 "Blue Ocean is a new user experience for Jenkins based on a personalizable, modern design that allows users to graphically create, visualize and diagnose Continuous Delivery (CD) Pipelines." by.Elevator Pitch - 확장성이 뛰어나고 강력한 기능을 제공하는 데 비해사용성이 좋지 않은 젠킨스! 젠킨스의 장점은 가져가되 사용자 경험은 개선시킨 블루오션 - 누구나 기술 수준에 상관없이 사용할 수 있는 지속적인 배포 도구 - 블루오션은 독깁적으로 실행되는 프로그램이 아닌 젠킨스용 플러그인이기 때문에 설치 시 기존에 설치된 젠킨스.. 2022. 7. 25.
GCP SDK-terraform 연결 https://cloud.google.com/sdk/docs/install google cloud sdk 공식문서입니다. 해당 문서에 들어가서 sdk 설치 프로그램을 받아 설치해주세요. ​ sdk를 사용하려면 PC에 Python 도 설치되어있어야하는데 sdk를 설치하는 과정에서 bundle python을 설치하게 되어있습니다. 이번 실습에서는 기본설정에 대해서는 건들지않고 설치하도록 하겠습니다. ​ sdk에 연결되어 있는 계정과 프로젝트id 그리고 컨피규레이션을 어떻게할건지 묻습니다. 사용하고자하는 아이디와 프로젝트가 맞다면 1번을 선택해주시고 아니면 2번을 눌러 나오는 안내에 맞게 설정하시면 됩니다. ​ 혹여나 실수로 잘못된 아이디나 프로젝트을 그대로 사용하셨더라도 ​ Cloud SDK> gcloud .. 2022. 7. 22.
Cloud Dataproc 첫번째. Hadoop Ecosystem (1) Apache Hadoop 분산 환경의 병렬 처리 프레임워크로, 크게 보면 분산 파일 시스템인 HDFS(Hadoop Distributed File System)와 데이터 처리를 위한 MapReduce 프레임워크로 구성 여러 대의 서버를 이용해 하나의 클러스터를 구성하며, 이렇게 클러스터로 묶인 서버의 자원을 하나의 서버처럼 사용할 수 있는 클러스터 컴퓨팅 환경을 제공 분석할 데이터를 하둡 파일 시스템인 HDFS에 저장해 두고 HDFS 상에서 MapReduce 프로그램을 이용해 데이터 처리를 수행 (2) Apache Spark 하둡과 유사한 클러스터 기반의 분산 기능을 제공하는 오픈소스 프레임워크 처리 결과를 항상 파일 시스템에 유지하는 하둡과 달리, 메모리에 .. 2022. 7. 15.
트리의 개념과 구현 트리의 예 트리(tree)는 1:1 또는 1:N 계층적인 자료에 사용되는 자료구조이다. ​ ​ 트리의 예 트리를 구성하는 원소를 노드(node)라 하고, 노드를 연결하는 선을 간선(edge)이라고 한다. 트리의 구성 요소에 해당하는 A, B, C, D, E, F, G, H, I, I, J를 노드(node)라고 한다. B의 바로 아래에 있는 E, F, G를 B의 자식(children)노드라고 하며 B는 E, F, G의 부모(parent)노드라고 한다. 같은 부모 아래의 자식 사이는 서로 형제(sibling)노드라고 한다. ​ 부모가 없는 노드를 루트노드라고 하며, 주어진 트리에는 여러 개의 서브트리가 존재할 수 있다. 이는, 자식 노드들은 각각 독립하여 새로운 트리를 구성할 수 있으므로 각 노드는 자식 노.. 2022. 7. 8.
[GCP in Action] Cloud Pub/Sub 첫번째 Cloud Pub/Sub 필요성 메시징 시스템의 요구사항 메시지는 특정한 사람이 보냄 특정 사람에게 정확히 보냄 정확히 한 번 보내고 한 번 받음 이외에도 그룹에 메시지를 브로드캐스팅할 수도 통신을 동기식 또는 비동기식으로 보낼지 등이 요구될 수 있음 기존의 많은 오픈 소스 메시징 플랫폼과 다양한 표준의 경우 별도의 서버를 켜야 함 모든 메시지를 모든 곳으로 라우팅하는 소프트웨어를 설치하고 관리해야 함 보내려는 메시지의 수가 증가하면 더 많은 머신을 켜야 함 새로운 컴퓨팅 성능을 사용하도록 시스템을 재구성해야 함 두번째 Cloud Pub/Sub (1) Cloud Pub/Sub 자체 내부 인프라를 기반으로 구축한 완전 관리형 메시징 시스템 (2) 메시지 수명 생성자가 주제(topic)를 결정한 다음.. 2022. 6. 27.
Airflow Airflow는 데이터 엔지니어링 파이프라인을 위한 오픈 소스 워크 플로 관리 플랫폼으로 apache에서 제공하고 있습니다. Airflow를 사용하여 작업의 DAG(방향성 비순환 그래프)로 워크플로를 작성합니다. Airflow scheduler는 지정된 종속성을 따르는 동안 작업자 배열에서 작업을 실행합니다. 풍부한 명령줄 유틸리티를 사용하면 DAG에서 복잡한 것도 간편하게 수행할 수 있습니다. airflow의 파이프라인은 코드(python)으로 구성되어 동적 파이프라인 생성을 합니다. airflow는 앞서 설명했던 composer를 사용해서 구성할 수 있으며 composer가 아니더라도 vm에서 수동으로 설치하여 띄울 수 있습니다. airflow의 웹 서버를 stateless로 만들 기 위해 airfl.. 2022. 6. 24.