현상수배범28 Lambda_API Gateway 트리거 설정 & 엑세스 로깅을 활성화 베하 안녕하세요 ~~! BTC_현상수배범입니다. 이번 시간에는 Lambda 함수에 API Gateway를 트리거로 설정하고 엑세스 로깅을 활성화하는 간단한 실습을 진행해보겠습니다. 1. Lambda 함수에 API Gateway를 트리거로 설정하고 엑세스 로깅을 활성화 1) API Gateway와 Lambda 함수 연결 콘솔에서 Lambda 함수 페이지에서 통합할 람다 함수를 선택 "트리거 추가"를 선택 후 사용할 API Gateway와 연결 요청 경로와 HTTP 메서드(POST /user, GET /user, DELETE /user 등 환경에 따라 상이)를 설정하여 Lambda 함수가 처리할 요청을 정의 2) API Gateway의 엑세스 로깅 활성화 API Gateway의 페이지로 이동 좌측 메뉴에서 .. 2023. 7. 24. Translation LLM 실습 베하~ 안녕하세요! BTC_현상수배범 입니다. 지난 시간에는 Embedding 문서를 기반으로 유사도 검색을 수행했었습니다! 단순한 QA 태스크 외에도, Claasification, Summarization과 같은 여러 작업을 수행할 수 있는데, 오늘은 Translation 모델로 실습을 해보도록 하겠습니다. Huggingface.co 에서 여러 다양한 오픈소스 모델들을 다운받아서 테스트할 수 있으니 참고 부탁드립니다. 저는 NHNDQ/nllb-finetuned-ko2en 모델로 테스트해봤습니다. transformers 라이브러리를 활용하여 굉장히 간편하게 로컬 환경에서 llm을 돌려볼 수 있습니다! from transformers import pipeline translator = pipeline("t.. 2023. 7. 21. Whatap 에이전트 설치 및 모니터링 베하 안녕하세요 ~~! BTC_현상수배범입니다. 이번 시간에는 Whatap 에이전트 설치 및 모니터링에 대해 알아보도록 하겠습니다! 1.Whatap? 멀티 클라우드 및 온프레미스 환경의 자원 정보와 애플리케이션 모니터링을 포함한 서버, DB 및 쿠버네티스 기반 컨테이너를 하나로 통합 모니터링할 수 있습니다. 2. Whatap 사전 작업 [프로젝트 생성] 1) 프로젝트 이름 설정 2) 이용할 플랫폼 선택 (애플리케이션, 서버, 컨테이너 등) 3) 데이터 서버 지역 선택 4) 타임 존 설정 5) 속하게 될 프로젝트 그룹이나 설명 기입 (선택 사항) 3. Whatap 에이전트 설치 ex) EC2 서버에 접속해서 설치 안내 > 2.와탭 리포지토리 추가 / 3.와탭 서버 모니터링 패키지 설치 / 4.서버 모니터링.. 2023. 7. 12. Llama Index 실습(OpenAI API 활용) 베하~ 안녕하세요! BTC_현상수배범 입니다. 오늘은 아주아주 간단한 실습을 하나 진행해보려 합니다. 진행 순서는 다음과 같습니다. 1. 문서 로드 2. 로드한 문서를 nodeParser를 통해 노드로 파싱 3. 노드로 인덱스 구성 4. 인덱스 쿼리 5. 응답 위 과정을 통해, 본인이 가지고 있는 데이터(문서 등)를 기반으로 LLM에 질문을 하고, 응답을 받을 수 있습니다. 이번 실습에서는 에세이를 활용하여 저자가 작성한 내용에 대해 QA 태스크를 진행해보도록 하겠습니다. !! 이 과정을 진행하며 비용이 청구될 수 있으니 주의하시기 바랍니다 !! 1. 문서 로드 링크에 예시 에세이 자료가 있습니다. git clone 명령어를 사용하거나, 링크를 방문하여 txt 파일만 다운로드 하시면 됩니다. git cl.. 2023. 7. 7. NLB EIP를 사용하여 Private 서버 접속 및 Private RDS 접속 베하 안녕하세요 ~~! BTC_현상수배범입니다. 이번 시간에는 NLB EIP를 사용하여 Private 서버 속 및 Private RDS 접속하는 간단한 실습을 해보도록 하겠습니다. 1. 아키텍처 구성도 해당 구성도에서 NLB의 IP주소를 이용하여 Private에 있는 WEB 서버에 SSH 접속을 진행하고 RDS endpoint 대신 NLB의 IP주소를 이용하여 외부에서 RDS 접근하는 방법(mysqlworkbench 사용)을 진행해보도록 하겠습니다. 2. 사전 요구 사항 1)mysqlworkbench 설치 (RDS 외부 접근 용) https://zincod.tistory.com/247 해당블로그 참고하여 진행해주세요~ 3.실습 순서 1)VPC 등 생성 -VPC 등으로 생성해주시고 가용영역은 a존 c존으로.. 2023. 6. 28. LlamaIndex 설치 & OpenAI API 키 발급 방법 베하~ 안녕하세요! BTC_현상수배범 입니다. 오늘은 Llama index에 대해서 알아보도록 하겠습니다. 1. LlamaIndex란? LlamaIndex는 이전 포스팅에서 배웠던 "LLM"을 활용한 애플리케이션을 구축하기 위한 데이터 프레임워크입니다. LLM 애플리케이션을 구축하기 위해서 데이터 커넥터, 인덱스, 쿼리 인터페이스 등 다양한 도구들을 제공하며 외부 애플리케이션 프레임워크와의 편리한 통합을 지원합니다. 1.1 데이터 커넥터 기존 데이터 소스 및 데이터 형식(API, PDF, 문서, SQL 등)을 수집할 때 사용합니다. 데이터 커넥터는 Llama Hub에서 제공되며, Llama Hub는 LlamaIndex 애플리케이션에 쉽게 연결하여 재생할 수 있는 데이터 로더가 포함된 오픈 소스 리포지토리.. 2023. 6. 23. AWS 콘솔 접근 가능한 IP 제한 베하 안녕하세요 ~~! BTC_현상수배범입니다. 이번 시간에는 IAM 정책을 활용하여 AWS 콘솔 접근 가능한 IP를 제한해보도록 하겠습니다. 보안 강화를 위해 특정 IP 또는 대역만 AWS Console 접근 허용 하는 방법으로 다음과 같은 작업순서로 진행해보도록 하겠습니다. 1. MFA 정책 생성 및 설정 2. Access 정책 생성 3. 정책 연결 및 접근 확인 1. MFA 정책 생성 ( MFA 디바이스 등록 없이 콘솔 확인 불가능 ) 참고 : https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/reference_policies_examples_aws_my-sec-creds-self-manage.html 1-1) 정책 생성 IAM -> 정책 -> 정책생.. 2023. 6. 12. LLM 베하~ 안녕하세요! BTC_현상수배범 입니다. 오늘은 LLM(Large Language Model)에 대해서 알아보도록 하겠습니다. LLM이란? LLM의 사전적 의미를 살펴보면, 다음과 같이 설명합니다. "대형 언어 모델(Large language model, LLM) 또는 거대 언어 모델은 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델이다." - 위키백과 설명만 봐서는 어떤 내용인지 잘 이해하기가 어렵습니다. 하지만, 여러분들도 잘 알고 계시는 아주 유명한 예시가 하나 있습니다. 가장 잘 알려진 LLM 중 하나는, OpenAI에서 개발한 GPT-3입니다. GPT-3는 약 1,750억 개의 매개변수*가 존재하는 가장 크고 강력한 LLM 중의 하나이며, 번역과 요약.. 2023. 6. 9. 이전 1 2 3 4 다음
