본문 바로가기

Categories1754

AWS EC2 Splunk 구축 방법 베하~! BTC_녹차공원 팀의 하동녹차 입니다.이번주는 AWS EC2 Splunk 구축 방법에 대해 알아 보겠습니다.AWS EC2 Splunk 구축Splunk 를 설치하기 위해 공식 홈페이지에 접속 해야 합니다.URL : https://www.splunk.com/ko_kr/download.html Splunk는 유료 서비스 이며, 60일 동안만 사용 가능 한 무료 평가판을 제공 합니다. 내 무료 평가판 받기를 선택하게 되면 아래와 같이 다운로드를 시작하기 위한 회원가입 화면이 나오게 되는데요, 회원 가입 진행 후에 다운로드가 가능 합니다.  회원 가입을 완료하면 아래와 같이 다운로드할 Splunk의 버전을 선택할 수 있는데요,저는 Splunk Enterprise 버전으로 선택하겠습니다.여기서 파일로 다운.. 2024. 5. 28.
S3 취약점 - 허용되지 않은 요청에 S3 요금 부과되는 현상 어느 사용자가 AWS S3 테스트 버킷을 eu-west-1 지역에 만들고 일부 파일을 업로드했는데, 며칠 후 AWS 청구 페이지에서 예상치 못한 비용을 발견하였는데, 하루 동안 약 1억 건의 S3 PUT 요청이 발생하는 것을 확인하였다.엥 이게 뭐지? 싶었겠지 그래서 확인해보니 AWS 기본 설정으로는 S3 버킷에 대한 요청이 기록되지 않지만, CloudTrail 로그를 통해 외부 계정에서 대량의 쓰기 요청이 들어오고 있음을 발견하였음.그런데 왜?유명한 오픈소스 라이브러리 중 하나가 기본 설정으로 S3에 백업을 저장하는 기능이 있는데, 하필 오픈 소스 샘플 코드에 하필 해당 사용자와 같은 버킷 이름을 사용하고 있었음. 아무도 안쓰는 줄 알았겠지. S3 bucket name은 global unique  bu.. 2024. 5. 21.
인터넷 상에 노출된 자격증명 탐지 베하~! 안녕하세요 1-Tier 팀 입니다.이제 많은 기업에서 클라우드 환경을 사용하고 있습니다.기업에서 보안을 위해 역량을 개선하고 보안 모범사례를 적용하고 있지만 일부 조직 및 개인에서는 여전히 모범사례를 지키지 않아 데이터 유출이나 랜섬웨어 감염같은 사이버 위협에 노출되어 있습니다. 그 중에서 가장 흔하게 발생하는 원인은 장기적인 자격증명 사용, 부적절한 API 토큰 관리, 자격증명 노출 등 관리부족으로 인한 보안사고 입니다. 이번에는 그 중에서 노출된 자격증명을 탐지하는 방안에 대해 살펴보고자 합니다. 자격증명 노출 유형Public 설정된 코드저장소조직이나 개인이 사용하는 공개 설정된 코드 저장소(Github, Gitlab, Bitbucket, AWS CodeCommit 등)에 자격증명이 업로드되.. 2024. 5. 10.
Kubeflow 설치하기 베하~! 안녕하세요 1-Tier팀 입니다.오늘은 Kubeflow를 설치하는 방법에 대해 알아보도록 하겠습니다.혹시 kubeflow에 대해 궁금하신 분들은 제가 이전에 작성한 포스팅을 참고 부탁드립니다.https://btcd.tistory.com/1169 Kubeflow 개요 및 특징베하~! 1Tier 팀 입니다. Kubeflow~! 혹시 들어보셨나요? Kubeflow는 End-toEnd AI 플랫폼으로, MLOps를 위한 머신러닝 워크플로우로 점차 상용화 되어가고 있는데요, 이번에는 Kubeflow를 한번 알아보겠습니다btcd.tistory.comKubeflow 설치하기1. Git Repository 다운로드export KUBEFLOW_RELEASE_VERSION=v1.7.0export AWS_RELEA.. 2024. 5. 2.
Elastic의 벡터 서치를 위한 HNSW와 다중 계층 기능 안녕하세요. BTC_기범입니다.오늘은 Elastic에서 벡터 서치를 할 때 사용되는 Hierarchical Navigable Small World graphs(이하 HNSW)와 벡터 서치 성능을 높이는데 영향을 미치는 다중 계층 기능에 대해 알아보겠습니다.HNSW (Hierarchical Navigable Small World graphs)HNSW는 Elasticsearch 8.x 버전에서 도입된 고성능 벡터 검색 알고리즘입니다. 데이터 볼륨과 벡터 유사성 검색에서 차원이 증가하면서 발생하는 성능 문제를 해결하기 위해 고안되었습니다.HNSW의 주요 특징은 다음과 같습니다.계층적 그래프 구조: 데이터 포인트를 계층적 그래프로 구성하여, 유사한 벡터를 빠르게 찾을 수 있도록 합니다.탐색 가능한 작은 세상 (.. 2024. 4. 30.
Deployments 와 StatefulSets 베하~! 안녕하세요 1-Tier팀 입니다. Kubernetes 환경을 운영하면서 대부분 Deployment로 관리되고 운영되는데, MySQL, Jenkins 등 일부는 StatefulSet을 사용하는것에 궁금증이 생겼고 비슷한 역할을 하는 리소스이긴 하나 분명 다른점이 있을 것인데 명확하게 설명하기 어려워 두 개의 차이점을 알아보고자 찾아보면서 정리하기 위해 해당 포스팅을 작성하게 되었습니다. 차이점을 이해하기 전에, 먼저 상태 저장의 의미인 Stateful 과 Non-Stateful 를 이해해야 합니다. Stateful / Non-Stateful Stateful 상태를 지속적으로 유지하는 상태 DB, 캐싱 등 데이터를 영구적으로 저장하고 관리해야 하는 경우에 사용되며 각각의 인스턴스가 고유 식별자를 가.. 2024. 4. 17.
Apache Iceberg 베하~! 안녕하세요 1-Tier팀 입니다. 이번에는 대규모 데이터 레이크 관리를 위한 오픈소스인 Apache Iceberg에 대해 알아보겠습니다. Apache Iceberg Apache Iceberg는 페타바이트 기반의 데이터를 위한 오픈소스로, Netflix에서 개발하여 2020년부터 오픈소스로 사용되었습니다. Apache Iceberg는 데이터 레이크에 저장된 대규모 데이터 세트를 테이블로 관리할 수 있고 데이터 처리를 위한 지원을 해준다는 것입니다. 기존 Apache Hive 기반의 빅데이터 처리 방식은 ACID 트랜잭션을 지원하지 않아 데이터의 일관성과 무결성 보장을 하지 않았지만, Apache Iceberg는 ACID를 보장하여 데이터의 일관성과 무결성을 보장할 뿐만 아니라 데이터 변경 시 레코.. 2024. 4. 8.
Bigquery UDF 활용 베하~ 반갑습니다!! 인사통의 BTC_김회장, 최총무입니다. 오늘은 Bigquery UDF를 사용해보겠습니다! 개념부터 간단한 활용문을 작성할테니 함께 진행해보시죠 Bigquery UDF란? Bigquey UDF(User-Defined Function)란 SQL 표현식이나 JavaScript 코드를 활용하여 간단한 함수를 생성하는것으로 UDF를 통해 함수를 만들어 두게 되면 복잡한 로직을 더욱 간결하게 표현할 수 있고, 코드의 일관성을 유지할 수 있어 빅쿼리 활용에 도움이 됩니다!! UDF 자체의 저장비용은 없으며, 데이터 처리에 따라 비용이 발생하게 됩니다!! 하지만 저장 비용이 없다고 무분별하게 많이 생성하게 되면 디버깅이나 유지관리에 어려움이 있을 수 있으니 이런점 고려하여 사용이 필요하겠습니다 B.. 2024. 3. 31.

티스토리툴바