개요 때때로는 GPU를 사용하더라도 수많은 사용자의 Query를 동시에 처리하기 힘든 경우가 있을 수 있다. 특히 Query와 비슷한 Passage를 찾으려 할 때 Passage의 크기가 우리의 생각보다 훨씬 크다면 찾는 데에만 시간을 많이 잡아먹게 될 것이다.
이러한 문제점을 해결할 수 있는 방법 중 하나인 FAISS를 알아보도록 하자. FAISS FAISS는 페이스북(메타)에서 만든 벡터 유사도를 효율적으로 처리해주는 라이브러리이다.
일반적으로 벡터 간 유사도를 구할 때에는 inner product를 계산하거나 scikit-learn이나 torch의 cosine_similarity 함수를 사용하곤 하는데, FAISS를 사용하게 되면 이보다 훨씬 빠르게 벡터 간 유사도를 측정할 수 있다. FAISS의 설치는 다음과 같이 간편하게 할 수 있다.
(pytorch가 사전에 설치되어 있어야 한다) # CPU Only pip install faiss-cpu -q # GPU pip insta...
