스이세이 개발 블로그

Paper Linkhttps://arxiv.org/pdf/2507.02259Executive Summary본 논문은 Large Language Model(LLM)의 long-context 처리 능력을 혁신적으로 개선하는 MemAgent를 제시합니다. MemAgent는 human-inspired memory mechanism과 Reinforcement Learning(RL)을 결합하여 infinitely long documents를 linear complexity로 처리하는 breakthrough를 달성했습니다.핵심 발견사항:MemAgent는 8K context window에서 훈련되어 3.5M QA task까지 performance loss Multi-conversation DAPO algorithm을 ..

Paper Linkhttps://arxiv.org/pdf/2502.12110Executive Summary본 논문은 기존 메모리 시스템의 고정된 구조와 한계를 극복하는 혁신적인 에이전틱 메모리 시스템 A-MEM을 제시합니다. Zettelkasten 방법론에서 영감을 받은 A-MEM은 동적 메모리 구조화, 자율적 연결 생성, 그리고 지능적 메모리 진화를 통해 LLM 에이전트의 장기 상호작용 능력을 획기적으로 향상시킵니다.핵심 발견사항:다차원 노트 구조: 컨텍스트 설명, 키워드, 태그 등 다중 속성을 포함한 원자적 노트 시스템자율적 링크 생성: 의미적 유사성과 공유 속성을 기반으로 한 동적 메모리 연결메모리 진화: 새로운 경험이 기존 메모리의 컨텍스트 표현을 업데이트하는 지능적 진화 메커니즘뛰어난 성능: L..

Paper Linkhttps://arxiv.org/pdf/2506.15841Executive Summary본 논문은 장기 다중 턴 상호작용에서 일정한 메모리 사용량을 유지하면서 작동하는 혁신적인 언어 에이전트 MEM1을 제시합니다. 기존 LLM 시스템이 모든 과거 대화를 무제한 누적하는 것과 달리, MEM1은 메모리 통합과 추론을 단일 내부 상태로 결합하여 추론 기반 메모리 통합을 달성합니다.핵심 발견사항:16-objective 멀티홉 QA 태스크에서 MEM1-7B가 Qwen2.5-14B-Instruct 대비 3.5배 성능 향상과 3.7배 메모리 사용량 감소를 동시에 달성일정한 메모리 사용량 유지: 임의로 긴 호라이즌에서도 메모리 사용량이 거의 일정하게 유지강화학습 기반 end-to-end 최적화: 별도..

Paper Linkhttps://arxiv.org/pdf/2504.19413Executive Summary본 논문은 Large Language Model(LLM)의 근본적 한계인 고정된 컨텍스트 윈도우 문제를 해결하는 혁신적인 메모리 아키텍처 Mem0를 제시합니다. Mem0는 지속적인 다중 세션 대화에서 일관성을 유지하기 위해 대화로부터 중요한 정보를 동적으로 추출, 통합, 검색하는 확장 가능한 메모리 중심 아키텍처입니다.핵심 발견사항:Mem0는 LOCOMO 벤치마크에서 모든 기존 메모리 시스템을 능가하며, OpenAI 대비 LLM-as-a-Judge 메트릭에서 26% 상대적 개선을 달성그래프 기반 메모리 확장 버전인 Mem0g는 기본 Mem0 대비 약 2% 높은 전체 점수를 기록하며 복잡한 관계형 구조..

Paper Linkhttps://arxiv.org/pdf/2404.07143Executive Summary본 연구는 제한된 메모리와 계산으로 무한히 긴 입력을 처리할 수 있는 트랜스포머 기반 대규모 언어 모델(LLM) 확장 방법을 제시합니다. 핵심 구성요소인 Infini-attention은 압축 메모리를 기존 어텐션 메커니즘에 통합하여, 단일 트랜스포머 블록에서 마스크된 로컬 어텐션과 장기 선형 어텐션 메커니즘을 모두 구현합니다.핵심 발견사항:무한 컨텍스트 처리: 제한된 메모리 파라미터로 1M 토큰 시퀀스 길이까지 확장 가능뛰어난 압축 효율성: Memorizing Transformers 대비 114배 압축률 달성하면서 성능 향상스트리밍 추론 지원: 빠른 스트리밍 추론과 플러그 앤 플레이 방식의 장기 컨텍..

Paperhttps://arxiv.org/pdf/2203.08913Executive Summary본 논문은 추론 시점에서 새로운 데이터를 단순히 읽고 기억할 수 있는 언어 모델을 제안합니다. 기존 언어 모델은 새로운 지식을 습득하기 위해 가중치 업데이트가 필요한 훈련이나 파인튜닝이 필요하지만, Memorizing Transformers는 과거 입력의 내부 표현을 기억하는 능력을 통해 즉시 새로운 지식을 습득할 수 있습니다.핵심 발견사항:근사 kNN 룩업을 통한 비미분가능한 외부 메모리 시스템 구현으로 262K 토큰까지 확장 가능다양한 벤치마크에서 일관된 성능 향상: C4 webtext, arXiv 수학 논문, PG-19 책, Github 코드, Isabelle 정리 등메모리 크기에 따른 지속적인 성능 개..

Paper Linkhttps://arxiv.org/pdf/2501.09136Executive Summary본 설문조사는 그래프 구조 데이터를 활용한 검색 증강 생성(Retrieval-Augmented Generation with Graphs, GraphRAG)에 대한 포괄적인 분석을 제시합니다. GraphRAG는 전통적인 RAG와 달리 그래프의 "노드가 엣지로 연결된" 본질적 특성을 활용하여 대량의 이질적이고 관계형 정보를 인코딩함으로써 실제 응용 프로그램에서 황금 자원 역할을 합니다.핵심 발견사항:GraphRAG는 5개의 핵심 구성요소로 구성됩니다: query processor, retriever, organizer, generator, 그리고 graph data source10개의 서로 다른 도메인에..

Paper Linkhttps://arxiv.org/pdf/2501.09136 Executive Summary본 논문은 에이전틱 검색-증강 생성(Agentic Retrieval-Augmented Generation, Agentic RAG)의 포괄적 분석과 실용적 구현 전략을 제시합니다. 기존 대규모 언어모델(LLM)은 정적 훈련 데이터에 의존하여 실시간 쿼리에 대한 적응성이 제한되고, 전통적인 RAG 시스템은 정적 워크플로우와 복잡한 다단계 추론 처리 능력 부족으로 한계를 보입니다.핵심 발견사항:Agentic RAG는 자율적 AI 에이전트를 RAG 파이프라인에 통합하여 동적 검색 전략, 반복적 개선, 적응형 워크플로우를 구현합니다4가지 에이전틱 패턴: 반성(Reflection), 계획(Planning), ..

Paper Linkhttps://arxiv.org/pdf/2502.11528Executive Summary본 논문은 개인화된 대규모 언어모델(Personalized Large Language Models, PLLMs)의 최신 기술 발전과 미래 연구 방향에 대한 포괄적 분석을 제시합니다. 일반적인 LLM은 광범위한 지식과 다중 도메인 추론에서 우수한 성능을 보이지만, 사용자별 개인화가 부족하여 개별 사용자의 감정, 작성 스타일, 선호도를 이해하는 데 한계가 있습니다.핵심 발견사항:PLLMs는 사용자 프로필, 대화 기록, 콘텐츠, 상호작용 데이터를 활용하여 개인 맞춤형 응답을 생성합니다3단계 기술 분류체계: 개인화된 프롬프팅(입력 레벨), 개인화된 적응(모델 레벨), 개인화된 정렬(목표 레벨)활용 분야: 대..