[LLM] AI Agent의 계획(Planning)과 LLM의 한계

1. AI 에이전트의 자동화된 계획 및 실행 과정

📌 AI 에이전트는 복잡한 작업을 수행할 때 3단계 프로세스를 따름:

✅ 1️⃣ 계획 생성 (Plan Generation)

• AI가 문제를 해결하기 위한 실행 가능한 계획(Plan)을 생성
• 일반적으로 작은 하위 작업(Task Decomposition)으로 나눠서 처리

✅ 2️⃣ 계획 검토 및 오류 수정 (Reflection & Error Correction)

• 생성된 계획을 평가하고 비효율적인 경우 새로운 계획을 다시 생성

✅ 3️⃣ 실행 (Execution)

• 검토된 계획을 기반으로 실제 실행 (예: API 호출, SQL 실행, 코드 실행 등)

✅ 4️⃣ 실행 결과 검토 및 수정 (Reflection & Error Correction)

• 실행 후 결과를 검토하여 목표 달성이 되었는지 확인
• 목표 달성이 안 됐다면, 새로운 계획을 다시 생성하여 반복

📌 결론:

• AI가 단순히 실행하는 것이 아니라, 지속적으로 계획을 검토하고 최적화하는 것이 중요!
• 반복적인 계획 수정이 포함되면, 더 정밀한 작업 수행 가능

---

2. LLM(대형 언어 모델)의 계획 능력과 한계

📌 LLM이 실제로 "계획(Planning)"을 할 수 있는가?

• Yann LeCun (Meta AI Chief Scientist): "LLMs는 자율적 계획을 수행할 수 없다"
  • 이유: LLM은 오토리그레시브(Autoregressive) 방식으로 동작하기 때문에, "과거 정보 기반으로만 다음 단계를 예측"할 수 있음

💡 한계점:

1️⃣ LLM은 과거 정보를 기반으로 "순차적 예측"만 수행

• 예: "A → B"를 수행한 후, A가 잘못된 선택이었음을 인지하고 되돌아가기(backtracking) 어려움
• 즉, LLM은 역추적(Undo)이 어려움

2️⃣ 미래 결과를 고려하는 능력이 부족

• 예: 산을 오르는 경로를 계획한다고 가정
  • 선택지: "오른쪽으로 가기, 왼쪽으로 가기, 직진"
  • 오른쪽으로 가면 절벽에서 떨어질 수도 있음 → 이 정보를 고려하지 못하면 실패

📌 결론:

• LLM은 기본적으로 단순한 "예측 기계"이기 때문에, 진정한 의미의 "계획"을 수행하기 어려움
• 그러나 LLM이 검색(Search) 및 상태 추적(State Tracking) 시스템과 결합되면, 더 나은 계획을 수행할 가능성이 있음

---

3. 해결책: LLM을 보완하는 계획 시스템 도입

📌 LLM의 한계를 극복하기 위해, AI 에이전트는 다음과 같은 기능을 추가할 수 있음:

✅ 1️⃣ 검색(Search) 시스템과 결합

• AI가 단순히 텍스트 예측을 수행하는 것이 아니라, 검색을 통해 실시간 정보를 활용
• 예제:
  • "현재 뉴욕에서 가장 인기 있는 레스토랑은?" → Google 검색 API 활용
  • "이 법률이 2024년에도 유효한가?" → 법률 데이터베이스 검색

✅ 2️⃣ 상태 추적(State Tracking) 시스템 추가

• LLM은 자기 기억(Self-Memory)이 부족하여, 진행 중인 작업을 추적하기 어려움
• 따라서, 별도의 상태 추적(State Tracking) 기능을 추가하여 AI가 현재 진행 상황을 관리하도록 개선

✅ 3️⃣ 강화 학습(Decision Optimization) 적용

• AI가 과거 실패 사례를 학습하여 더 나은 계획을 세울 수 있도록 최적화

---

4. 결론: LLM이 계획을 할 수 없는가?

📌 현재의 LLM은 "완전한 계획 능력"이 없지만, 보완 기술과 결합하면 가능성이 있음!

✅ LLM을 보완하는 검색(Search), 상태 추적(State Tracking), 강화 학습을 추가하면 계획 성능을 크게 향상 가능

✅ AI가 단순한 "예측 모델"이 아니라, "의사결정 및 실행 모델"로 발전하려면, 계획 능력을 보완해야 한다!