본문 바로가기

BTC_막내가최고야40

AWS - Athena (2) 안녕하세요 BTC_막내가 최고야 팀입니다! AWS Athena (2) 파트 시작하겠습니다~ Athena를 사용하여 데이터 수집을 위해선 아래와 같은 초기 절차가 필요한데요, 1. 데이터 원본 생성 2. 데이터 원본에서 데이터베이스 생성 3. 데이터베이스에서 테이블 생성 순서대로 진행 한번 해보겠습니다. ( Test.csv file) 1. 데이터 원본에서 데이터 베이스 생성 2. 데이터베이스에서 테이블 생성 쿼리 문이 sql 구조랑 많이 흡사한걸 확인할수 있는데요 테이블 밑 파라미터에 대해 알아보도록하겠습니다! EXTERNAL:s3에 있는 기본 데이터 파일을 기반으로 지정 IF NOT EXISTS: table_name이 있으면 오류 메시지가 출력 안되게끔 설정 ROW FORAMAT: 테이블의 행 형식과 기.. 2022. 12. 16.
AWS - Athena (1) 안녕하세요! BTC_막내가 최고야 팀입니다! 이전엔 인프라 엔지니어 관점의 주제로 시작했었는데 새 주제로 AWS 리소스에 관해 알려드릴려고합니다 새 주제 시작하겠습니다~!~! Athena S3 및 타 서비스의 저장된 데이터에 쿼리를 전달하면 데이터를 가져올수 있게 해주는 AWS 서버리스 서비스 스캔한 데이터 크기만큼 돈을 내기 때문에 파일을 압축해두면 좀더 저렴하게 사용 가능 Presto 기반 기술 Presto의 원리 어느정도 알고있으면 Athena 사용에 좀더 쉽다고 합니다. 비용은 서울리전 기준으로 1TB당 5.00 USD 스캔 비용이 발생한다고 합니다! Athena 와 데이터 원본을 연동하면 위 같은 메인화면이 출력되는데요 빨간박스, 파란박스, 초록박스 기준으로 알려드리겠습니다! 1. 빨간박스 데이.. 2022. 12. 16.
인프라 엔지니어가 봐야할 대규모 운영업무 (2) 안녕하세요 BTC_막내가 최고야 팀입니다! 저번 차시에는 대규모 운영 관리 포인트와 CDN 서비스에 대해 알아보았는데요, 이번 차시에는 DSR 구성을 알아보겠습니다! 1. DSR 구성을 이용한 부하 분산 Direct Server Return 구성 L4 스위치에서 이용되는 부하 분산 기법중 하나 일반 웹 사이트에서 부하 분산을 할 때 DSR 구성은 거이 채용하지않음 네트워크 트래픽이 많이 발생할때 구성 2. DSR 구성 장점 요청에 대한 L4 스위치의 수용력 증가 인바운드 양과 아웃바운드 양이 거의 같아짐 아웃바운드 트래픽을 큰 폭으로 절약할 수 잇기 때문에 요청에 대한 L4 스위치 수용량 증가 네트워크 구성이 자유로워짐 기본적으로 어느 스위치에 L4 스위치를 연결해도 부하분산이 가능해지므로 네트워크 토폴.. 2022. 12. 16.
인프라 엔지니어가 봐야할 대규모 운영업무 (1) 안녕하세요! BTC_막내가 최고야 팀입니다 이번 차시는 소규모가 아닌 엔터프라이즈급 대규모 운영 업무에 대해 알아보겠습니다~ 대규모 인프라를 고나리하려면 시뮬레이션에 바탕을 둔 면밀한 사전 준비와 관리 체제 구축 인적 자원, 데이터 센터 공간, 서버, 네트워크 장비, 네트워크 대역 등 온갖 자원이 동시에 부족해지는 가운데서 우선 순위를 매겨가며 대책 수립 임기응변식 대응으로 충분히 해결할 수 있을때가 많지만 계획이 없으면 장애 건수에 밀려 운영 파탄 기기를 한대씩 관리하는 방법 보단 전체를 통합해 바라보면서 체계를 구축하는 방법 제시 인프라 엔지니어의 교과서 사노 유타카 10장 1. 대규모 인프라 관리 대규모 인프라를 관리하는 인프라 엔지니어는 자산 관리, 서버의 물리적 설치, 운영 체제 설치, 감시 장.. 2022. 12. 16.
인프라엔지니어 가 봐야할 운영 업무 (2) 안녕하세요 ~ BTC_막내가 최고야 팀입니다! 지난 차시에는 장애 및 병목 현상에 대해 알아보았는데요! 이번 차시에는 MSP(Managed Service Provide) , 펌웨어 에 대해 알아보겠습니다! MSP(Managed Service Provide) IT 인프라의 운영 관리를 대행해주는 업자인프라 운영을 할 사람이 없을 경우 계약을 진행하는 형태 MSP 업자 선택 방법 기업의 신뢰성 중요한 서버 운영을 위탁할 경우 신뢰할 수 없는 기업을 선택하는 것은 사업적으로 위험 MSP 업자의 컴플라이언스 측면을 물론이고 재무 상황도 충분히 확인 커뮤니케이션 능력 인프라 운영 관리를 자사에 할 수 없을때 MSP 업자에게 인프라 운영의 모든 것을 위임 MSP 업자의 엔지니어와 커뮤니케이션이 우너할하지 않으면 자.. 2022. 12. 16.
인프라 엔지니어가 봐야할 운영 업무 (1) 안녕하세요! 막내가최고야 팀입니다~ 지난 차시에는 최근에 화재가 있었던 데이터 센터를 설명드렸는데요, 이번차시에는 엔지니어가 인프라 운영을 어떻게 진행해야 하는지 알아보겠습니다! 인프라 운영에는 인프라의 장애 감시 및 대응 수용량 최적화 및 장애 예방 등이 있는데요 운영업무중 장애가 생기면 서비스가 중단될수도있기때문에 예방이 중요한데 이부분 자세하게 알아보겠습니다! 1. 장애 대응 인프라 엔지니어에는 당연히 감시 솔루션은 장애 선 감지를 위해 많은 비중을 차지하는 도구인데요! 장애를 대응하는 방법은 크게 아래와 같다고 볼수있슴다. 하드웨어는 언젠가 반드시 고장이 난다는 생각때문에 가능한 무중단 서비스 하도록 하는 방향으로 해야함 서비스를 가동한 채로 이중화된 부품 중 고장난 부품을 교환할 수 있는 핫스왑.. 2022. 12. 16.
인프라 엔지니어 관점에서 바라보는 솔루션과 보안 [ 2 ] 안녕하세요~ BTC_막내가최고야 팀~!!!~!!입니다용 오늘도 저번 차시에 이어 솔루션과 보안에 대해 알아보도록 하겠슴다 궈궈 1. 자산 관리 도구 - 많은 장비를 효율적으로 관리하려면 자산 관리 도구를 활용하는 것이 편리 - 어느정도 규모 까지는 엑셀 등 스프레드 시트 소프트웨어로도 가능하지만 관리 대상이 늘어날수록 자산 관리의 시스템화가 필요 1) 배포 시스템 - 여러 서버에 동시에 같은 소스 코드와 설정 파일 등을 배포할 때 한 대씩 수작으로 배포하는 것은 시간이 너무 걸림 - 위 상황일 경우 배포 시스템 이용 - Linux -> rsync - Windows -> robocopy - 배포 이력 관리를 위해 배포 시스템을 만들거나 배포 기능에 특화된 오픈 소스를 이용하기도 함 2) 보안 - 서버 단위.. 2022. 8. 30.
인프라 엔지니어 관점에서 바라보는 데이터 센터 [ 3 ] 안녕하세요~~!!! 오늘도 BTC_막내가 최고야 팀~!!! 이번에는 데이터 센터에 마지막으로 더 알아보도록 합시다람쥐 랙에 장비를 설치하는 패턴 처음 랙을 사용하게 되면 랙에 어떻게 장비를 설치해야할지 모를 수 있습니다. 실제 운영에서 자주 사용되는 패턴이 있으므로 소개해드립니다. 1. 네트워크 장비를 맨 위에 설치할 경우 - 랙을 넘어서는 스위치간 배선이 쉬움 - LAN 케이블을 늘어뜨려 둘 수 있는 장점 2. 네트워크 장비를 중간에 설치 할 경우 - 네트워크 장비와 서버간 LAN 케이블의 길이가 짧게 사용된다는 장점 3. 공기 흐름 - 서버는 일반적으로 앞쪽에 냉기를 빨아들이고 뒤쪽으로는 열기를 배출 - 따라서 랙을 여러게 이용할 때는 서버에서 나간 열기가 다른 서버로 들어가지 않도록 배치 자체 서버.. 2022. 8. 24.

티스토리툴바