[langchain]RAG, 벡터 스토어

RAG RAG를 통해 언어 모델에 검색 기능을 추가해 정보 기반 답변할 수 있다. 데이터 로드 > 텍스트 분할 > 인덱싱 > 검색 > 생성의 단계가 있다.

인덱싱 텍스트를 검색 가능한 형태로 만듬 텍스트를 유사도 기반으로 벡터로 변환하고 벡터저장소에 저장 벡터 스토어 임베딩 벡터(백터 형태의 데이터)를 저장하는 DB 대규모 벡터 데이터셋 중에서 빠른 속도로 유사 데이터를 검색하는 것이 주요 성능 지표 코사인 유사도 등을 통해 유사도를 측정해 검색 임베딩 텍스트 데이터를 숫자 형태 벡터로 변환 벡터 공간에서 가까이 위치한 텍스트는 의미적으로 유사한 것으로 간주됨 임베딩 주요 활용 사례 의미 검색 : 쿼리에 대한 관련성 높은 정보를 검색 문서 분류: 카테고리나 주제에 분류 인덱싱과 벡터 스토어 검색 인덱싱은 키워드 검색 벡터스토어는 유사도 검색 출처 https://wikidocs.net/231393 2-1. RAG 개요 RAG(Retrieval-Augmented Generation) 파...