[LLM] RAG (Retrieval-Augmented Generation)와 컨텍스트 활용

1. RAG의 개념: 검색 후 생성 패턴

RAG(Retrieval-Augmented Generation)는 "검색 후 생성(retrieve-then-generate)" 패턴을 기반으로 동작하는 AI 기술입니다. 이 개념은 2017년 "Reading Wikipedia to Answer Open-Domain Questions" 논문에서 처음 소개되었습니다. 기본적인 원리는 다음과 같습니다.

1️⃣ 문서 검색(Document Retrieval): AI 모델이 질문(Query)과 관련된 문서를 검색하여 가장 관련성이 높은 데이터를 찾음

2️⃣ 문서 읽기(Document Reading): 검색된 문서를 AI 모델이 읽고 분석하여 최적의 답변을 생성

예제

 "1933년 바르샤바 주민 중 몇 명이 폴란드어를 사용했는가?"

➡ AI 모델은 위키백과에서 관련 문서를 검색한 후, 해당 정보를 바탕으로 답변을 생성

RAG 모델은 단순히 모든 데이터를 학습하는 것이 아니라 필요한 순간에 적절한 정보를 검색하여 활용하는 방식을 따릅니다.

---

2. RAG의 등장 배경과 핵심 개념

기존 AI 모델들은 대량의 데이터를 학습하지만, 시간이 지나면서 새로운 정보가 추가되거나 기존 데이터가 변경되는 문제가 발생합니다.

✅ 기존 방식의 문제점

• 모델이 학습한 정보는 시간이 지나면서 오래되어 신뢰성이 떨어질 수 있음
• 모든 지식을 한 번에 학습시키는 것은 데이터 양이 많아질수록 어려움

✅ RAG의 해결책

• AI가 필요한 순간마다 최신 정보를 검색하여 활용
• 모델이 모든 데이터를 학습할 필요 없이, 검색을 통해 중요한 정보만 선택하여 활용
• 지식이 지속적으로 업데이트되므로 모델의 정보 신뢰도가 향상됨

이러한 방식은 전통적인 머신러닝 모델에서 사용되던 "특성 엔지니어링(feature engineering)"과 유사한 개념으로 볼 수 있습니다.

---

3. RAG와 컨텍스트 활용의 중요성

많은 사람들은 AI 모델의 컨텍스트 길이를 충분히 늘리면, RAG가 필요하지 않을 것이라고 생각할 수 있습니다. 하지만 RAG는 단순히 컨텍스트 길이를 확장하는 문제를 넘어, 정확한 컨텍스트를 제공하는 것에 초점을 맞추고 있습니다.

📌 컨텍스트 길이가 길다고 해서 항상 좋은 것은 아니다!

• 사람이 정보를 많이 가질수록 더 정확한 답변을 할 것 같지만, 오히려 불필요한 정보가 많으면 혼란을 일으킬 수 있음
• AI 모델도 마찬가지로, 너무 많은 컨텍스트가 주어지면 중요한 정보를 제대로 인식하지 못할 위험이 있음
• RAG는 가장 적절한 정보만을 선택적으로 제공하여 성능을 최적화함

예를 들어, 다음과 같은 질문이 주어진다고 가정해 보겠습니다.

❓ "Acme사의 fancy-printer-A300 모델은 100ppm을 출력할 수 있는가?"

• AI가 단순히 일반적인 지식을 바탕으로 답변하면 오류가 발생할 수 있음
• 하지만 RAG를 활용하면 A300 모델의 최신 사양을 검색한 후 보다 정확한 답변을 생성 가능

✅ RAG의 핵심 역할

• 모든 쿼리에 대해 같은 컨텍스트를 제공하는 것이 아니라, 질문에 맞는 최적의 컨텍스트를 검색하여 제공
• 이를 통해 AI 모델이 환각(hallucination)을 줄이고, 더 구체적이고 정확한 답변을 생성할 수 있도록 도움

---

4. 컨텍스트 길이 확장과 RAG의 필요성

일부 AI 연구자들은 컨텍스트 길이를 확장하는 것이 RAG의 대체재가 될 수 있다고 주장합니다. 하지만 이는 현실적으로 쉽지 않은 문제입니다.

📌 이유 1: 무한한 컨텍스트 길이는 비효율적

• 모델이 학습할 수 있는 데이터 양은 제한적이며, 컨텍스트가 길어질수록 불필요한 정보까지 포함될 가능성 증가
• AI가 중요한 정보를 빠르게 찾는 것이 어려워질 수 있음

📌 이유 2: 데이터의 지속적인 증가

• 시간이 지남에 따라 데이터는 계속 증가하며, 기존 데이터를 삭제하지 않는 한 AI 모델이 처리해야 할 양이 늘어남
• RAG는 필요한 정보만 검색하여 제공하는 방식이므로, 불필요한 정보 처리 부담을 줄일 수 있음

📌 이유 3: 성능 최적화

• 컨텍스트 길이를 확장하면 성능이 저하될 가능성이 있음
• RAG는 모델이 가장 관련성이 높은 정보를 선택적으로 활용하도록 설계되었기 때문에, 최소한의 입력 데이터로 최적의 성능을 발휘할 수 있도록 함

결국, 컨텍스트 길이 확장과 RAG는 서로 대체 관계가 아니라 보완 관계입니다. 모델이 더 긴 컨텍스트를 활용할 수 있도록 연구가 진행되는 동시에, RAG를 통해 최적의 정보를 선택적으로 활용하는 방식이 발전하고 있습니다.

---

5. 결론: RAG는 AI의 필수 요소가 될 것이다!

현재 AI 모델이 정확한 답변을 제공하려면 적절한 컨텍스트를 제공하는 것이 필수적입니다.

✅ RAG는 필요한 정보를 검색하여 제공함으로써, AI 모델의 신뢰성과 정확성을 높이는 핵심 기술이다.

✅ 컨텍스트 길이를 무작정 확장하는 것보다, 적절한 정보를 선택적으로 제공하는 것이 더 효과적이다.

✅ 향후 AI 모델의 발전 방향은, 컨텍스트 길이 확장과 RAG의 조화를 통해 더욱 정교한 정보를 제공하는 방향으로 나아갈 것이다.

AI가 더 정교한 의사결정과 분석을 수행하려면, 단순히 학습된 데이터에 의존하는 것이 아니라 실시간으로 정보를 검색하고 활용하는 능력이 필수적입니다. 앞으로 RAG와 같은 기술이 AI의 중요한 요소가 될 것이며, 이를 통해 더 신뢰할 수 있는 AI 시스템이 개발될 것입니다.