Data RAG vs 파인튜닝

새 모델을 만들어서 llm 을 구축하는 데에는 상당한 장벽이 있다고 함. 기업에서는 특정 도메인에 맞게 모델을 최적화 하기 위해 Data RAG나 파인튜닝을 적용하게 됨.

실제 기업에서는 두가지 방식을 모두 적용할 가능성이 높음. 파인튜닝 -> 전문성, 말투 보완 파인튜닝은 시간과 노력이 많이 들어서 신중하게 접근할 필요가 있음.

충분한 양의 양질의 라벨링 데이터가 필요함. 모델 자체가 특정 톤을 유지하고 정교하게 문장 생성하도록 함.

모델의 말투, 전문적인 논리, 복잡한 편집 규칙 등을 해결 RAG만으로 해결하기 어려울 때. RAG -> 업데이트와 출처 보완 데이터의 업데이트.

최신성을 보완 정보의 출처 표시 환각, 거짓말 방지 - LLM이 정보가 없을 경우 확실하지 않은 답변을 말할 가능성이 있는데 이 점을 보완할 수 있다고함. 출처 https://www.skelterlabs.com/blog/rag-vs-finetuning...