Retrieval Augmented Generation (RAG)

RAG란 뭘까요? LLM(Large Language Model)의 한계점을 생각해 보면서 RAG가 무엇인지 알아봅시다.

 

LLM은 굉장히 많은 것들을 알고 있지만 지식의 한계는 학습된 데이터의 한계(knowledge cut-off)에 해당합니다.

가령, "사내 인사변동에 대해 알려줘!", "실시간 인기 검색어를 알려줘!" 와 같이 공개되지 않은 데이터 혹은 실시간 데이터에 대한 지식을 가지고 있지 않죠.

 

이처럼 학습되지 않은 데이터에 대하여 질문을 받았을 때, LLM은 사용자가 원하는 답변을 주지 못합니다.

심지어 그럴싸한 거짓말을 하는 환각(hallucination) 현상이 발생하기도 하죠.

 

이러한 외부 데이터에 대한 접근과 환각과 같은 LLM의 태생적인 한계점을 극복하기 위해 나온 기술이 바로 RAG입니다.

 

RAG(Retrieval Augmented Generation)
대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스
https://aws.amazon.com/ko/what-is/retrieval-augmented-generation
https://www.elastic.co/kr/what-is/retrieval-augmented-generation

Image from https://www.elastic.co/kr/what-is/retrieval-augmented-generation

 

즉, 다양한 데이터 소스로부터 사용자의 요청과 관련된 문서를 검색하고, 이를 기반으로 LLM을 이용하여 답변을 생성하는 기술을 RAG(Retrieval Augmented Generation)라 합니다.