[자연어 처리 NLP] Bag-of-Words를 이용한 특징 추출 (Feature Extraction with Bag-of-Words)

많은 전통적인 머신러닝 기법들은 특징(feature)에 기반하여 작동하며, 이 특징은 보통 문서를 코퍼스와 관련 지어 설명하는 숫자들로 이루어져 있습니다. 이 중 Bag-of-Words는 가장 기본적이고 널리 사용되는 특징 추출 기법입니다. 😊

 

[자연어 처리 NLP] Bag-of-Words를 이용한 특징 추출 (Feature Extraction with Bag-of-Words)

 

---

🛠️ Bag-of-Words (BoW)

정의: Bag-of-Words는 텍스트 데이터를 각 문서의 단어들이 들어 있는 멀티셋으로 표현하는 방식입니다. 이 때 문법과 단어 순서는 무시하고 단어의 빈도만을 유지합니다.

Bag-of-Words의 주요 개념

• 단어 빈도 유지: Bag-of-Words에서는 각 문서에서 등장하는 단어의 빈도를 계산하여 해당 단어를 특징으로 사용합니다. 단어의 순서나 문법적인 구조는 고려되지 않기 때문에, 텍스트 데이터를 단순하고 효율적으로 수치화할 수 있습니다.
• 문법과 순서 무시: 문장에서 단어의 순서나 문법적 의미는 무시되므로, 텍스트의 구조적 정보는 보존되지 않습니다. 하지만 단어의 등장 횟수를 통해 텍스트의 의미적인 내용을 어느 정도 추정할 수 있습니다.

Bag-of-Words 모델은 NLP에서 자주 사용되는 기법으로, 각 단어를 특징으로 표현하고 해당 단어의 빈도를 특징 값으로 사용합니다.

중요성: Bag-of-Words는 텍스트 처리 과정을 단순화하고, 텍스트 분류나 정보 검색과 같은 다양한 NLP 애플리케이션에 사용됩니다. 🔍 단순한 구조로 인해 모델을 빠르게 훈련시키고 분석할 수 있는 장점이 있습니다.

 

 

출처: 딥러닝 AI

Bag-of-Words 예시

다음은 Bag-of-Words 모델을 사용해보는 예시입니다:

from sklearn.feature_extraction.text import CountVectorizer

# 샘플 텍스트 데이터
documents = [
    "오늘 날씨가 너무 좋다",
    "내일은 비가 올 것 같다",
    "오늘과 내일의 날씨는 다르다"
]

# CountVectorizer 초기화
vectorizer = CountVectorizer()

# 모델을 맞추고 문서들을 Bag of Words로 변환
bow_matrix = vectorizer.fit_transform(documents)

# 특징 이름(코퍼스 내의 고유한 단어들) 얻기
feature_names = vectorizer.get_feature_names_out()

# Bag of Words 매트릭스를 배열로 변환
bow_array = bow_matrix.toarray()

# Bag of Words 출력
print("특징 이름(단어들):", feature_names)
print("\nBag of Words 표현:")
print(bow_array)

 

출력:

특징 이름(단어들): ['것' '내일은' '다르다' '날씨가' '날씨는' '너무' '오늘과' '오늘' '비가' '올' '좋다']

Bag of Words 표현:
[[0 0 0 1 0 1 0 1 0 0 1]
 [1 1 0 0 0 0 0 0 1 1 0]
 [0 0 1 0 1 0 1 1 0 0 0]]

 

위와 같이 Bag-of-Words 모델을 사용하면, 각 문서를 코퍼스 내의 단어 빈도를 기준으로 수치화하여 표현할 수 있습니다. 이렇게 변환된 특징들은 텍스트 분류, 감정 분석 등 다양한 NLP 작업에 활용될 수 있습니다. ✨

Bag-of-Words의 장단점

• 장점:
  • 단순성: Bag-of-Words는 구현이 간단하고, 텍스트 데이터를 수치 데이터로 쉽게 변환할 수 있습니다.
  • 빠른 처리: 단어 빈도를 기준으로 하기 때문에 계산이 빠르고, 대량의 텍스트 데이터 처리에 적합합니다.
• 단점:
  • 문맥 정보 손실: 단어의 순서나 문법적 구조를 무시하기 때문에, 문맥적 의미를 잘 반영하지 못합니다.
  • 희소 행렬: 단어가 많아질수록 매우 큰 희소 행렬이 생성될 수 있어, 메모리 사용량이 증가할 수 있습니다.

Bag-of-Words의 활용 예시

• 텍스트 분류: 예를 들어, 영화 리뷰 데이터를 긍정 또는 부정으로 분류할 때 Bag-of-Words를 사용하여 각 리뷰의 단어 빈도를 특징으로 하여 모델을 훈련시킬 수 있습니다.
• 스팸 탐지: 이메일의 단어 빈도를 분석하여 스팸 메일인지 아닌지를 분류하는 데 사용할 수 있습니다.

Bag-of-Words는 단순하지만 강력한 특징 추출 기법으로, 많은 NLP 작업의 기초가 됩니다. 이를 통해 텍스트 데이터를 수치화하고, 다양한 머신러닝 알고리즘을 적용하여 유용한 인사이트를 도출할 수 있습니다. 😊✨