반응형 AI 공부/LLM31 [LLM] 📊 Base LLM vs Instruction-Tuned LLM 📘 Base LLM (대규모 언어 모델)1. 정의: Base LLM은 방대한 텍스트 데이터로 사전 학습된 일반 목적 언어 모델입니다. 언어의 문법, 어휘, 일반 사용 패턴 등 언어의 통계적 특성을 학습합니다.2. 특성:사전 학습: Base LLM은 책, 기사, 웹사이트 등에서 수집된 수십억 단어의 방대한 데이터셋을 기반으로 학습됩니다. 📚다재다능: 다양한 작업을 수행할 수 있지만, 특정 작업에 완벽히 맞지는 않을 수 있습니다. 🌍예시: GPT-3 (Generative Pre-trained Transformer 3)는 일반적인 예입니다. 🤖3. 사용 사례:탐색적 작업: 특정 작업에 맞춘 조정 없이 다양한 작업에 사용됩니다. 🕵️♂️일반 텍스트 생성: 언어에 대한 폭넓은 이해를 바탕으로 콘텐츠를 .. 2024. 6. 15. [Transformer] 트랜스포머 포지셔널 인코딩 (Positional Encoding) 쉽게 설명하기 📏 안녕하세요! 오늘은 Transformer 모델에서 사용하는 포지셔널 인코딩에 대해 쉽게 설명해드리겠습니다. 포지셔널 인코딩은 Transformer 모델이 입력된 단어들의 순서를 이해할 수 있도록 도와주는 중요한 개념입니다.포지셔널 인코딩이 필요한 이유 🤔기존의 순환 신경망(RNN)이나 LSTM 모델은 단어의 순서를 자연스럽게 이해할 수 있습니다. 왜냐하면 이 모델들은 단어들을 순차적으로 처리하기 때문입니다. 하지만 Transformer 모델은 병렬 처리가 가능하도록 설계되어 있어서 단어의 순서 정보를 따로 제공해줘야 합니다. 그렇지 않으면 단어들의 순서를 알 수 없게 됩니다.포지셔널 인코딩이란? 📐포지셔널 인코딩은 각 단어 벡터에 위치 정보를 더해주는 방식입니다. 이 정보를 통해 모델은 각 단어가 문.. 2024. 5. 30. [Transformer] Transformer 트랜스포머 모델: 인코더와 디코더의 자세한 순서별 설명 📚 안녕하세요! 오늘은 AI와 딥러닝의 중요한 논문인 "Attention Is All You Need"에 대해 쉽게 설명해드리겠습니다. 이 논문은 2017년에 Google Brain 팀이 발표한 것으로, 딥러닝에서 사용하는 모델인 Transformer를 소개합니다. 🤖📚 1. 문제점 해결 💡이전에는 기계 번역이나 텍스트 생성과 같은 작업에 주로 **순환 신경망(RNN)**이나 LSTM(Long Short-Term Memory) 모델이 사용되었습니다. 하지만 이런 모델들은 다음과 같은 문제점이 있었습니다:연산 속도 느림: RNN과 LSTM은 순차적으로 데이터를 처리하기 때문에 병렬 처리가 어렵습니다.긴 문장 처리 어려움: 긴 문장에서 멀리 떨어진 단어들 간의 관계를 이해하는 데 어려움을 겪습니다.2... 2024. 5. 29. [LLM] 정보 검색(Information Retrieval): 디지털 세계의 나침반 🧭 우리는 정보의 바다에서 항해하는 항해자들입니다. 🚢 인터넷이라는 거대한 바다에서 우리가 원하는 정보를 찾는 것은 종종 어려울 수 있습니다. 바로 여기서 정보 검색(Information Retrieval, IR) 기술이 등장합니다! IR은 대량의 데이터 속에서 사용자의 정보 요구에 부합하는 정보를 찾아내는 컴퓨터 시스템의 과정을 말합니다. 검색 엔진, 온라인 도서관, 데이터베이스 시스템 등 우리 생활 곳곳에서 이 기술이 활용되고 있죠. 🌐 IR의 핵심 개념들 🗝️ 문서(Document): 텍스트, 이미지, 음성 등 다양한 형태의 데이터. 정보 검색 시스템이 다루는 기본 단위입니다. 쿼리(Query): 사용자가 정보를 찾기 위해 입력하는 요구 사항. 예를 들어, 검색 엔진에 입력하는 검색어가 쿼리가 됩니다... 2024. 3. 8. 이전 1 2 3 4 5 6 7 8 다음 반응형
