본문 바로가기
반응형

AI 공부101

[Machine Learning] N-gram이란 무엇인가? 텍스트 분석의 핵심 이해하기 언어는 인간 커뮤니케이션의 기본 요소입니다. 디지털 시대에 접어들며, 우리는 매일 방대한 양의 텍스트 데이터와 상호작용하게 되었고, 이로 인해 텍스트 분석의 중요성이 급격히 증가했습니다. 그 중심에는 'N-gram'이라는 개념이 자리잡고 있습니다. 📖🔍 이 블로그 포스팅에서는 N-gram의 개념을 소개하고, 그것이 언어 처리와 텍스트 분석에 어떻게 활용되는지 탐구해보겠습니다. N-gram N-gram은 텍스트나 연설에서 N개의 연속적인 항목(문자, 음절, 단어 등)의 시퀀스를 말합니다. 'N'은 숫자를 나타내며, 이는 시퀀스에 포함된 항목의 수를 의미합니다. 예를 들어, "I love language processing" 이라는 문장에서 2-gram(또는 bigram)은 "I love", "love la.. 2024. 3. 13.
[LLM] 정보 검색(Information Retrieval): 디지털 세계의 나침반 🧭 우리는 정보의 바다에서 항해하는 항해자들입니다. 🚢 인터넷이라는 거대한 바다에서 우리가 원하는 정보를 찾는 것은 종종 어려울 수 있습니다. 바로 여기서 정보 검색(Information Retrieval, IR) 기술이 등장합니다! IR은 대량의 데이터 속에서 사용자의 정보 요구에 부합하는 정보를 찾아내는 컴퓨터 시스템의 과정을 말합니다. 검색 엔진, 온라인 도서관, 데이터베이스 시스템 등 우리 생활 곳곳에서 이 기술이 활용되고 있죠. 🌐 IR의 핵심 개념들 🗝️ 문서(Document): 텍스트, 이미지, 음성 등 다양한 형태의 데이터. 정보 검색 시스템이 다루는 기본 단위입니다. 쿼리(Query): 사용자가 정보를 찾기 위해 입력하는 요구 사항. 예를 들어, 검색 엔진에 입력하는 검색어가 쿼리가 됩니다... 2024. 3. 8.
[LLM] 🌟 Few-Shot Learning, Zero-Shot Learning, Decomposition, Ensembling: 차이점 비교 안녕하세요, AI 마법사들! 오늘은 마법 같은 인공지능 모델의 학습 방법에 대해 이야기해보려고 합니다. 🧙‍♂️💫 여러분, Few-Shot Learning, Zero-Shot Learning, Decomposition, Ensembling에 대해 들어보셨나요? 각각의 방법은 AI가 새로운 작업을 마스터하는 데 도움을 주는데요, 그 차이점을 한번 살펴볼까요? 🤔 1️⃣ Few-Shot Learning (퓨샷 학습) 👶 퓨샷 학습은 마치 요리를 할 때 레시피를 몇 번 보고 바로 요리를 시작하는 것과 같아요. 🍳 소량의 데이터만으로도 새로운 작업을 수행할 수 있게 합니다. 이 방법은 미세 조정을 통해 빠르게 적응하죠. 하지만, 마법 재료(데이터)가 많이 필요해요! 2️⃣ Zero-Shot Learning (제.. 2024. 3. 7.
[LLM] Prompt Engineering 프롬프트 엔지니어링: 초보자를 위한 가이드 🌟 언어 모델과 인터랙션하는 방법에 있어, 프롬프트 엔지니어링은 마법의 주문 같은 역할을 합니다. 이 글을 통해, 언어 모델을 활용하는 새로운 방식인 프롬프트 엔지니어링에 대해 초보자도 쉽게 이해할 수 있도록 안내해 드리겠습니다. 프롬프트 엔지니어링이란 무엇일까요? 🤔 간단히 말해서, 프롬프트 엔지니어링은 언어 모델에 특정 입력(프롬프트)을 제공하여 원하는 출력을 얻어내는 기술입니다. 이는 전통적인 프로그래밍 언어 대신 자연어를 사용하여 모델과 소통하는 새로운 형태의 프로그래밍 방식이라고 할 수 있습니다. 왜 중요한가요? 언어 모델이 다양한 작업을 수행할 수 있게 되면서, 모델을 효과적으로 활용하기 위한 방법이 필요해졌습니다. 프롬프트 엔지니어링은 모델의 잠재력을 최대한 발휘할 수 있게 해주며, 복잡한 문제.. 2024. 3. 6.
반응형