[LLM] AI Agent의 실패 유형 및 평가 방법

1. AI 에이전트의 실패 유형 (Agent Failure Modes)

📌 AI 에이전트의 성능은 "도구 사용 능력"과 "계획 수립 능력"에 따라 결정됨.

🚨 실패 유형(Failure Modes)

• 계획 실패(Planning Failures) → 잘못된 계획 생성
• 도구 실패(Tool Failures) → 잘못된 도구 호출
• 번역 오류(Translation Errors) → 계획을 실행 가능한 명령으로 변환하는 과정에서 발생

✅ 실패율 분석이 중요한 이유

• AI의 성능을 평가하려면 어떤 실패가 자주 발생하는지 측정해야 함
• 실패 원인을 분석하면 모델 개선 방향을 찾을 수 있음

---

2. 계획 실패(Planning Failures)

📌 계획(Planning)은 어려운 작업이며, 다양한 오류가 발생할 수 있음.

🔹 계획 실패 유형

1️⃣ 잘못된 도구 호출 (Invalid Tool Call)

• 예제: bing_search를 호출했지만, 이 도구가 AI의 도구 목록에 없음

2️⃣ 유효한 도구지만 잘못된 매개변수 전달 (Valid Tool, Invalid Parameters)

• 예제: lbs_to_kg 함수 호출 시 두 개의 매개변수(lbs, kg)를 전달하지만, 실제로 필요한 매개변수는 lbs 하나뿐임

3️⃣ 유효한 도구 + 유효한 매개변수지만 잘못된 값 입력 (Valid Tool, Incorrect Parameter Values)

• 예제: lbs_to_kg(100)을 호출해야 하는데, 잘못된 값 lbs_to_kg(10)을 전달

4️⃣ 목표를 해결하지 못하는 계획 (Goal Failure)

• 예제:
  • AI에게 "$5,000 예산으로 샌프란시스코에서 하노이까지 2주 여행을 계획하라"는 요청을 줌
  • 하지만 AI가 예산을 초과하는 계획을 생성하면 실패

✅ 시간(Time)도 중요한 요소!

• AI가 계획을 너무 오래 걸려서 수행하면, 실행 결과가 필요할 때 제공되지 못할 가능성이 있음
• 예제:
  • 정부 보조금 신청 마감일이 지나고 나서 AI가 신청서를 완성하면 의미가 없음

✅ 반성적 사고(Reflection) 기반 오류

• AI가 잘못된 계획을 실행했지만, 이를 인지하지 못하고 성공했다고 판단하는 경우 발생
• 예제:
  • AI가 호텔을 50명 대신 40명만 예약했는데도, 성공했다고 잘못 판단할 수 있음

📌 결론:

• 계획의 정확성뿐만 아니라, "제출 기한"과 "실제 목표 달성 여부"도 중요!
• AI가 결과를 평가할 때, "제대로 완료되었는가?"를 확인하는 메커니즘 필요

✅ 평가 지표 (Metrics) 활용 가능

• 전체 생성된 계획 중 유효한 계획 비율은 몇 %인가?
• AI가 유효한 계획을 생성하려면 평균 몇 번의 시도를 해야 하는가?
• 잘못된 도구 호출 비율은 얼마나 되는가?
• 올바른 도구지만 잘못된 매개변수로 호출된 경우는 몇 %인가?

---

3. 도구 실패(Tool Failures)

📌 AI가 올바른 도구를 사용했음에도 결과가 잘못될 수 있음.

✅ 도구 실패 유형

1️⃣ 도구가 잘못된 출력을 반환

• 예제:
  • AI가 이미지 캡셔닝(Image Captioning) 도구를 호출했는데, 실제로는 이미지 설명이 엉뚱하게 생성됨
  • AI가 SQL 쿼리 생성을 요청했는데, 쿼리가 실행되지 않음

2️⃣ 번역 오류(Translation Errors)

• AI가 고수준 계획(High-Level Plan)을 세우고, 이를 실행 가능한 명령(Executable Commands)으로 변환하는 과정에서 오류 발생
• 예제:
  • AI가 "날씨 정보를 검색하라"라는 계획을 세웠는데, 잘못된 API 호출을 생성

📌 결론:

• AI가 올바른 도구를 선택했더라도 도구의 출력이 정확한지 평가하는 단계가 필요
• 도구가 정확하게 동작하는지 사전 검증 및 후처리(Post-Processing) 추가 필요

---

4. AI 에이전트 평가 전략

📌 AI 에이전트의 실패를 분석하면, 성능 개선 방향을 찾을 수 있음.

✅ 평가 지표 (Evaluation Metrics)

1️⃣ 생성된 전체 계획 중 유효한 계획 비율

2️⃣ AI가 유효한 계획을 생성하려면 몇 번의 시도가 필요한가?

3️⃣ 도구 호출 중 잘못된 호출 비율

4️⃣ 올바른 도구지만 잘못된 매개변수 사용 비율

5️⃣ 목표를 완전히 해결한 계획의 비율

💡 실제 연구 예제:

• AgentOps(https://github.com/AgentOps-AI/agentops) → AI 에이전트의 성능을 측정하는 평가 프레임워크
• TravelPlanner(https://github.com/OSU-NLP-Group/TravelPlanner) → 여행 계획을 평가하는 AI 벤치마크

📌 결론:

• AI가 실패하는 이유를 정량적으로 측정하면, 더 효율적인 모델 개선이 가능!
• AI의 성능을 평가할 때 "단순한 정답률"이 아니라, "실행 가능한 계획을 얼마나 잘 생성하는가"도 고려해야 함 🚀

---

5. 최종 결론: AI 에이전트의 실패 분석 및 개선 전략

✅ AI의 계획(Planning) 실패 유형을 분석하면, 더 나은 계획을 생성할 수 있음

✅ AI가 정확한 도구를 호출했더라도, 도구의 결과가 올바른지 평가해야 함

✅ 시간(Time)도 중요한 요소이므로, 계획이 적절한 시점에 완료되는지도 고려해야 함

✅ AI 성능을 평가할 때는 단순 정답률이 아니라, 실행 가능성(Feasibility)과 최적화된 계획 생성 능력을 측정해야 함

미래의 AI는 "실패를 최소화하는 방향"으로 점점 더 발전할 것이며, 이를 위해 지속적인 성능 분석과 개선이 필요하다!