[LLM] AI Agent의 도구 사용 패턴 및 도구 확장 전략

1. AI 에이전트의 도구 사용 패턴 분석

AI 모델은 수행하는 작업(Task)에 따라 서로 다른 도구를 사용함

실험 결과 (Lu et al., 2023):

1. 다양한 작업(Task)에는 서로 다른 도구가 필요

• 예제:
  • ScienceQA(과학 문제 풀이) → 지식 검색(Knowledge Retrieval)에 의존
  • TabMWP(수학 문제 해결) → 수식 변환(Column Lookup, Table Verbalizer) 사용

2. 다른 AI 모델은 서로 다른 도구 선호도를 보임

• ChatGPT → 이미지 캡셔닝(Image Captioning) 도구를 선호
• GPT-4 → 지식 검색(Knowledge Retrieval) 도구를 더 많이 사용

결론:

• AI 에이전트가 수행하는 작업 유형에 따라 필요한 도구가 달라진다
• 특정 작업에 최적화된 도구 세트를 구축하는 것이 중요!

---

2. AI의 도구 전환(Transition) 및 확장 (Figure 6-15)

AI는 특정 도구를 사용한 후, 어떤 도구를 다음에 호출할 가능성이 높은가?

도구 전환 트리(Tool Transition Tree)

• AI가 한 도구를 호출한 후, 어떤 도구를 다음으로 호출하는지를 분석
• 예제:
  • query_generator(쿼리 생성기) → bing_search(검색)으로 전환할 확률: 0.53
  • text_detector(텍스트 감지) → knowledge_retrieval(지식 검색)으로 전환할 확률: 0.78

의미:

• 자주 함께 호출되는 도구들은 하나의 더 큰 도구로 결합 가능!
• AI가 점진적으로 초기 도구 세트를 조합하여 더욱 강력한 도구를 형성 가능

결론:

• AI 에이전트는 단순한 도구 사용을 넘어, 자신만의 도구 조합을 형성할 수 있음
• 실제로 AI가 자주 사용하는 도구를 분석하여, 더욱 효율적인 자동화 가능!

---

3. AI의 "기술 관리자(Skill Manager)" 개념 (Vogager, Wang et al., 2023)

AI가 새로운 도구(스킬)를 학습하고 저장할 수 있을까?

Vogager의 제안:

• AI가 처음에는 특정 도구를 모르지만,
• 새로운 도구를 학습한 후 이를 "스킬 라이브러리(Skill Library)"에 저장
• 이후 필요할 때 다시 사용 가능

예제:

1. AI가 코드 자동 생성 기능을 처음 사용

2. 이 기능이 유용하다고 판단하면, 스킬 라이브러리에 추가

3. 이후 새로운 작업에서 동일한 기능을 활용 가능

결론:

• AI가 점진적으로 새로운 도구를 학습하고 확장하는 시스템 구축 가능
• AI 에이전트가 단순히 "이미 제공된 도구"만 사용하는 것이 아니라, 점점 더 많은 기능을 스스로 학습할 수 있음 

---

4. 최종 결론: AI 에이전트의 도구 사용 전략 최적화

• AI는 작업(Task)에 따라 다른 도구를 사용하며, 특정 작업에 맞춰 최적화된 도구 세트가 필요함
• AI는 특정 도구를 사용한 후, 어떤 도구를 다음에 사용할지 학습할 수 있음 (Tool Transition Analysis)
• AI가 자주 함께 사용하는 도구들은 하나의 복합 도구로 결합하여 효율성을 극대화할 수 있음
• AI가 새로운 도구(스킬)를 학습하고 저장하는 "Skill Manager" 개념이 적용될 수 있음