llm4 LLM 이란? 안녕하세요. 할배즈..입니다. 오늘은 LLM (Large Language Model)에 대해 알아보겠습니다. LLM 이란? Large Language Model은 딥러닝의 한 종류인 인공 신경망을 기반으로 한 자연어 처리 모델입니다. 이 모델은 수억 개의 파라미터로 구성되어 있으며, 이를 통해 많은 양의 텍스트 데이터를 학습하여 문장의 의미를 이해하고 다양한 언어 작업을 수행할 수 있습니다. 라지 랭귀지 모델은 GPT-3(Generative Pre-trained Transformer 3)과 같은 대규모 모델이 대표적입니다. Large Language Model 기능과 특징 다양한 언어 작업에 적용 가능 Large Language Model은 기계 번역, 요약, 질의응답, 자연어 이해 등 다양한 언어 작업.. 2024. 1. 5. Llama Index 실습(OpenAI API 활용) 베하~ 안녕하세요! BTC_현상수배범 입니다. 오늘은 아주아주 간단한 실습을 하나 진행해보려 합니다. 진행 순서는 다음과 같습니다. 1. 문서 로드 2. 로드한 문서를 nodeParser를 통해 노드로 파싱 3. 노드로 인덱스 구성 4. 인덱스 쿼리 5. 응답 위 과정을 통해, 본인이 가지고 있는 데이터(문서 등)를 기반으로 LLM에 질문을 하고, 응답을 받을 수 있습니다. 이번 실습에서는 에세이를 활용하여 저자가 작성한 내용에 대해 QA 태스크를 진행해보도록 하겠습니다. !! 이 과정을 진행하며 비용이 청구될 수 있으니 주의하시기 바랍니다 !! 1. 문서 로드 링크에 예시 에세이 자료가 있습니다. git clone 명령어를 사용하거나, 링크를 방문하여 txt 파일만 다운로드 하시면 됩니다. git cl.. 2023. 7. 7. LlamaIndex 설치 & OpenAI API 키 발급 방법 베하~ 안녕하세요! BTC_현상수배범 입니다. 오늘은 Llama index에 대해서 알아보도록 하겠습니다. 1. LlamaIndex란? LlamaIndex는 이전 포스팅에서 배웠던 "LLM"을 활용한 애플리케이션을 구축하기 위한 데이터 프레임워크입니다. LLM 애플리케이션을 구축하기 위해서 데이터 커넥터, 인덱스, 쿼리 인터페이스 등 다양한 도구들을 제공하며 외부 애플리케이션 프레임워크와의 편리한 통합을 지원합니다. 1.1 데이터 커넥터 기존 데이터 소스 및 데이터 형식(API, PDF, 문서, SQL 등)을 수집할 때 사용합니다. 데이터 커넥터는 Llama Hub에서 제공되며, Llama Hub는 LlamaIndex 애플리케이션에 쉽게 연결하여 재생할 수 있는 데이터 로더가 포함된 오픈 소스 리포지토리.. 2023. 6. 23. LLM 베하~ 안녕하세요! BTC_현상수배범 입니다. 오늘은 LLM(Large Language Model)에 대해서 알아보도록 하겠습니다. LLM이란? LLM의 사전적 의미를 살펴보면, 다음과 같이 설명합니다. "대형 언어 모델(Large language model, LLM) 또는 거대 언어 모델은 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델이다." - 위키백과 설명만 봐서는 어떤 내용인지 잘 이해하기가 어렵습니다. 하지만, 여러분들도 잘 알고 계시는 아주 유명한 예시가 하나 있습니다. 가장 잘 알려진 LLM 중 하나는, OpenAI에서 개발한 GPT-3입니다. GPT-3는 약 1,750억 개의 매개변수*가 존재하는 가장 크고 강력한 LLM 중의 하나이며, 번역과 요약.. 2023. 6. 9. 이전 1 다음
