Suisei's 개발 블로그

AB-MCTS: 차세대 LLM Inference-Time Scaling Algorithm

링크해당 내용은 아래 Sakana AI Blog 내용을 참고하여 작성하였습니다.https://sakana.ai/ab-mcts/ Sakana AIWe are creating a new kind of foundation model based on nature-inspired intelligence.sakana.ai 본문 내용사카나 AI의 AB-MCTS(Adaptive Branching Monte Carlo Tree Search)는 여러 frontier AI model이 협력하여 복잡한 문제를 해결할 수 있게 하는 혁신적인 inference-time scaling algorithm입니다. 이 알고리즘은 기존 MCTS의 고정적 탐색 전략을 넘어서, external feedback signal을 기반으로 "Go ..

개요Gemma 3는 Google DeepMind가 2025년 6월 출시한 혁신적인 multimodal open-weight 언어 모델로, 5:1 interleaved local-global attention mechanism과 극도로 향상된 메모리 효율성을 통해 open-source AI 모델의 새로운 패러다임을 제시했습니다. 27B parameter 모델이 단일 GPU에서 실행되면서도 DeepSeek-V3(671B)와 같은 대형 모델들과 경쟁할 수 있는 성능을 달성한 것은 아키텍처적 혁신의 결과입니다.KV cache 메모리 사용량을 60%에서 15%로 감소시키면서도 128K context length를 지원하며, multimodal 기능까지 통합한 Gemma 3는 효율성과 성능의 새로운 균형점을 찾았습..

들어가기 전해당 블로그 포스팅은 huggingface 아티클에서 공개된 False negative 제거 방법에 관한 내용을 정리 및 추가한 내용입니다.https://huggingface.co/blog/dragonkue/mitigating-false-negatives-in-retriever-training핵심 요약전통적인 하드 네거티브 마이닝에서 최대 70%가 실제로는 false negative라는 치명적인 문제를 해결하기 위해, 포지티브 인식 하드 네거티브 마이닝(positive-aware hard negative mining)이 등장했습니다. NV-Retriever의 방법론을 적용한 연구에서는 MTEB 검색 벤치마크에서 60.9 BEIR 점수로 1위를 달성했으며, 한국어 금융 텍스트 처리에서도 임베딩 ..

AI 애플리케이션이 공개되면, 악의적인 사용자가 이를 악용할 수도 있습니다. 프롬프트 해킹(prompt attacks)을 방어하는 것이 중요합니다.1. 프롬프트 추출 공격 (Prompt Extraction)공격자가 애플리케이션의 프롬프트(특히 시스템 프롬프트)를 추출하여 분석하는 공격 기법입니다. 이를 통해 애플리케이션을 복제하거나 악용할 수 있습니다.2. 감옥 탈출 및 프롬프트 주입 (Jailbreaking & Prompt Injection)모델이 원래 수행해서는 안 되는 악의적인 행동을 하도록 유도하는 공격입니다. 예를 들어, 프롬프트 주입(prompt injection)을 사용하여 제한된 정보를 모델이 공개하도록 만들 수 있습니다.3. 정보 추출 공격 (Information Extraction)모델..

Anthropic이 2025년 공개한 Circuit Tracing 기술은 거대언어모델의 내부 사고 과정을 처음으로 상세히 추적할 수 있게 한 혁신적 도구입니다. 이 연구는 Claude 3.5 Haiku와 같은 프로덕션 모델의 추론 과정을 실시간으로 시각화하고 조작할 수 있는 Attribution Graph 방법론을 제시하며, AI 해석 가능성 분야에 새로운 전환점을 마련했습니다. 특히 "Dallas가 있는 주의 수도는?"이라는 질문에서 모델이 Dallas → Texas → Austin의 2단계 추론을 수행하는 과정을 명확히 추적해낸 것은 AI의 복잡한 사고 과정을 인간이 이해할 수 있는 형태로 변환한 첫 번째 성공 사례입니다.2025년 5월 29일, Anthropic은 이 획기적인 기술을 완전 오픈소스로..

예를 들어, Gemma 3 27B와 같은 대규모 언어 모델은 AI 성능의 획기적인 발전을 나타내지만, 프로덕션 환경에서 효율적으로 서빙하려면 인프라 선택에 대한 신중한 고려가 필요합니다. 세 가지 주요 접근 방식인 Triton Inference Server, BentoML, TensorRT-LLM은 각각 다른 배포 시나리오에서 고유한 장점을 제공합니다. Triton의 프로덕션급 멀티모델 기능부터 BentoML의 개발자 친화적 워크플로우, TensorRT-LLM의 GPU 최적화 성능까지, 이러한 차이점을 이해하는 것은 확장 가능한 LLM 서비스를 구축하는 ML 엔지니어에게 필수적입니다.현재 중요한 이유: LLM 배포 시장이 2030년까지 1,055억 달러 규모에 달할 것으로 예상되는 가운데, 올바른 서빙 ..

1. AI 에이전트의 도구 사용 패턴 분석AI 모델은 수행하는 작업(Task)에 따라 서로 다른 도구를 사용함실험 결과 (Lu et al., 2023):1. 다양한 작업(Task)에는 서로 다른 도구가 필요예제:ScienceQA(과학 문제 풀이) → 지식 검색(Knowledge Retrieval)에 의존TabMWP(수학 문제 해결) → 수식 변환(Column Lookup, Table Verbalizer) 사용2. 다른 AI 모델은 서로 다른 도구 선호도를 보임ChatGPT → 이미지 캡셔닝(Image Captioning) 도구를 선호GPT-4 → 지식 검색(Knowledge Retrieval) 도구를 더 많이 사용결론:AI 에이전트가 수행하는 작업 유형에 따라 필요한 도구가 달라진다특정 작업에 최적화된 ..

1. ReAct 프레임워크 적용 예제ReAct(Reason + Act) 프레임워크는 AI가 작업을 수행하면서 "이유(Reasoning) + 행동(Acting) + 평가(Reflection)"를 반복하도록 설계된 방식예제: AI가 "Apple Remote와 함께 작동할 수 있는 다른 기기는 무엇인가?"라는 질문에 답하는 과정Thought 1: "Apple Remote의 원래 목적을 검색해야 함" → 검색 수행Thought 2: "Front Row(소프트웨어)가 관련 있음" → 추가 검색 필요Thought 3: "Front Row는 존재하지 않음" → 대체 검색 수행Thought 4: "Front Row(소프트웨어)는 Apple Remote와 함께 작동하며, 키보드 기능 키를 제어함" → 최종 답변 도출Re..

1. AI 에이전트의 제어 흐름(Control Flow) 패턴AI 에이전트가 계획을 실행할 때, 다양한 방식으로 작업을 수행할 수 있음AI 계획 실행의 다양한 순서 예제제어 흐름 유형설명 예제순차적(Sequential)작업 A가 완료된 후 작업 B 실행자연어를 SQL 쿼리로 변환 후 실행병렬(Parallel)여러 작업을 동시에 수행100개 제품의 가격을 동시에 가져오기조건문(If Statement)특정 조건에 따라 작업 경로 결정주가 분석 후 매수/매도 결정반복문(For Loop)특정 조건이 충족될 때까지 실행소수를 찾을 때까지 숫자 생성실제 적용 예제:AI가 두 개의 웹사이트를 동시에 크롤링해야 한다면, 병렬 실행(Parallel Execution)이 필요AI가 주가 변동을 분석한 후 매도/매수를 결정..

1. 계획 세분화(Planning Granularity)란?AI의 계획(Plan)은 다양한 수준(Level of Granularity)에서 생성될 수 있음.연 단위 계획 → 가장 상위 수준분기별(Quarterly) 계획 → 중간 수준월별(Monthly) 계획 → 더 세부적인 수준주별(Weekly) 계획 → 가장 낮은 수준세분화된 계획의 장단점계획 수준장점 단점고수준 계획 (High-Level)생성이 빠름, 간단함실행하기 어려움 (상세 정보 부족)세부 계획 (Detailed Plan)실행이 용이생성하는 데 시간이 오래 걸림, 복잡성 증가해결책:AI가 먼저 고수준 계획을 생성한 후, 세부적인 하위 계획을 단계적으로 추가하는 방식 사용예제:1. 분기별 계획 생성 → 2. 각 분기에 대한 월별 계획 생성 → 3..