Full Text Search란

• 텍스트 컬럼에 저장된 데이터에서 특정 단어 또는 구문을 빠르게 검색하기 위함
• 기본 동작 원리
  • 텍스트 데이터를 단어 단위로 분리(tokenize)
  • 불용어(stop words) 제거, 어근 추출(stemming) 등의 전처리 수행
  • 단어 인덱스를 생성하여 검색 시 빠르게 탐색 가능
• 특징
  • 단순한 문자열 비교가 아니라 단어 기반 검색
  • 자연어의 의미나 형태를 고려할 수 있음(예: 복수형, 동의어 처리 등 일부 DBMS에서 지원)
  • 다양한 검색 모드 지원(예: 정확히 일치, 부분 일치, 부울 연산, 근접 검색 등)

주요 DBMS별 Full Text Search

Full Text Search 작동 원리

1. 토큰화(Tokenization)
   • 텍스트를 단어 단위로 쪼갬
   • 예: “Hello World!” → [”hello”, “world”]
2. 불용어 제거(Stop Words Removal)
   • 의미 없는 단어 제거(예: 영어의 a, the ,is 등)
   • DBMS마다 기본 불용어 목록이 다름
3. 어근 추출(Stemming) 및 정규화
   • 단어의 기본형으로 변환(예: running → run)
   • 일부 DBMS에서만 지원
4. 인덱스 생성
   • 단어 목록과 문서(또는 레코드) 위치를 매핑하는 인덱스 생성
   • 검색 시 전체 데이터 스캔 없이 빠르게 단어가 포함된 문서 찾기 가능
5. 검색 쿼리 처리
   1. 사용자가 입력한 키워드도 토큰화, 정규화 후 인덱스 조회
   2. Boolean 연산자(AND, OR, NOT), 근접성 검색, 와일드카드 등 다양한 검색 옵션 가능

MySQL 예시(InnoDB기준)

• 인덱스 생성

  	ALTER TABLE posts ADD FULLTEXT(title, content);
  

• 기본 자연어 모드 검색

  SELECT * FROM posts
  WHERE MATCH(title, content) AGAINST('database');
  

• Boolean 모드 검색

  SELECT * FROM posts
  WHERE MATCH(title, content) AGAINST('+database -oracle' IN BOOLEAN MODE);
  

• 특징

  • 최소 단어 길이(ft_min_word_len) 설정 가능(기본 4자)
  • 불용어 리스트 존재
  • 대소문자 구분 없음
  • 복합 단어도 검색 가능하지만 한계 존재

활용 시 고려사항

• 검색할 데이터가 어떤 언어인지, 형태소 분석이 필요한지
• 텍스트 전체 또는 일부 컬럼만 인덱싱할지