Haru's 개발 블로그

[LLM] Retriever Training에서 False Negative 완화 방법

들어가기 전해당 블로그 포스팅은 huggingface 아티클에서 공개된 False negative 제거 방법에 관한 내용을 정리 및 추가한 내용입니다.https://huggingface.co/blog/dragonkue/mitigating-false-negatives-in-retriever-training핵심 요약전통적인 하드 네거티브 마이닝에서 최대 70%가 실제로는 false negative라는 치명적인 문제를 해결하기 위해, 포지티브 인식 하드 네거티브 마이닝(positive-aware hard negative mining)이 등장했습니다. NV-Retriever의 방법론을 적용한 연구에서는 MTEB 검색 벤치마크에서 60.9 BEIR 점수로 1위를 달성했으며, 한국어 금융 텍스트 처리에서도 임베딩 ..

[LLM] 보안 강화를 위한 프롬프트 엔지니어링 - 1편

AI 애플리케이션이 공개되면, 악의적인 사용자가 이를 악용할 수도 있습니다. 프롬프트 해킹(prompt attacks)을 방어하는 것이 중요합니다.1. 프롬프트 추출 공격 (Prompt Extraction)공격자가 애플리케이션의 프롬프트(특히 시스템 프롬프트)를 추출하여 분석하는 공격 기법입니다. 이를 통해 애플리케이션을 복제하거나 악용할 수 있습니다.2. 감옥 탈출 및 프롬프트 주입 (Jailbreaking & Prompt Injection)모델이 원래 수행해서는 안 되는 악의적인 행동을 하도록 유도하는 공격입니다. 예를 들어, 프롬프트 주입(prompt injection)을 사용하여 제한된 정보를 모델이 공개하도록 만들 수 있습니다.3. 정보 추출 공격 (Information Extraction)모델..

[LLM]Anthropic의 Circuit Tracing 연구: 거대언어모델 사고 추적의 혁신

Anthropic이 2025년 공개한 Circuit Tracing 기술은 거대언어모델의 내부 사고 과정을 처음으로 상세히 추적할 수 있게 한 혁신적 도구입니다. 이 연구는 Claude 3.5 Haiku와 같은 프로덕션 모델의 추론 과정을 실시간으로 시각화하고 조작할 수 있는 Attribution Graph 방법론을 제시하며, AI 해석 가능성 분야에 새로운 전환점을 마련했습니다. 특히 "Dallas가 있는 주의 수도는?"이라는 질문에서 모델이 Dallas → Texas → Austin의 2단계 추론을 수행하는 과정을 명확히 추적해낸 것은 AI의 복잡한 사고 과정을 인간이 이해할 수 있는 형태로 변환한 첫 번째 성공 사례입니다.2025년 5월 29일, Anthropic은 이 획기적인 기술을 완전 오픈소스로..

[LLM] 대규모 LLM 서빙 가이드: Triton, BentoML, TensorRT 완벽 분석

예를 들어, Gemma 3 27B와 같은 대규모 언어 모델은 AI 성능의 획기적인 발전을 나타내지만, 프로덕션 환경에서 효율적으로 서빙하려면 인프라 선택에 대한 신중한 고려가 필요합니다. 세 가지 주요 접근 방식인 Triton Inference Server, BentoML, TensorRT-LLM은 각각 다른 배포 시나리오에서 고유한 장점을 제공합니다. Triton의 프로덕션급 멀티모델 기능부터 BentoML의 개발자 친화적 워크플로우, TensorRT-LLM의 GPU 최적화 성능까지, 이러한 차이점을 이해하는 것은 확장 가능한 LLM 서비스를 구축하는 ML 엔지니어에게 필수적입니다.현재 중요한 이유: LLM 배포 시장이 2030년까지 1,055억 달러 규모에 달할 것으로 예상되는 가운데, 올바른 서빙 ..

1. AI 에이전트의 도구 사용 패턴 분석AI 모델은 수행하는 작업(Task)에 따라 서로 다른 도구를 사용함실험 결과 (Lu et al., 2023):1. 다양한 작업(Task)에는 서로 다른 도구가 필요예제:ScienceQA(과학 문제 풀이) → 지식 검색(Knowledge Retrieval)에 의존TabMWP(수학 문제 해결) → 수식 변환(Column Lookup, Table Verbalizer) 사용2. 다른 AI 모델은 서로 다른 도구 선호도를 보임ChatGPT → 이미지 캡셔닝(Image Captioning) 도구를 선호GPT-4 → 지식 검색(Knowledge Retrieval) 도구를 더 많이 사용결론:AI 에이전트가 수행하는 작업 유형에 따라 필요한 도구가 달라진다특정 작업에 최적화된 ..

1. ReAct 프레임워크 적용 예제ReAct(Reason + Act) 프레임워크는 AI가 작업을 수행하면서 "이유(Reasoning) + 행동(Acting) + 평가(Reflection)"를 반복하도록 설계된 방식예제: AI가 "Apple Remote와 함께 작동할 수 있는 다른 기기는 무엇인가?"라는 질문에 답하는 과정Thought 1: "Apple Remote의 원래 목적을 검색해야 함" → 검색 수행Thought 2: "Front Row(소프트웨어)가 관련 있음" → 추가 검색 필요Thought 3: "Front Row는 존재하지 않음" → 대체 검색 수행Thought 4: "Front Row(소프트웨어)는 Apple Remote와 함께 작동하며, 키보드 기능 키를 제어함" → 최종 답변 도출Re..

1. AI 에이전트의 제어 흐름(Control Flow) 패턴AI 에이전트가 계획을 실행할 때, 다양한 방식으로 작업을 수행할 수 있음AI 계획 실행의 다양한 순서 예제제어 흐름 유형설명 예제순차적(Sequential)작업 A가 완료된 후 작업 B 실행자연어를 SQL 쿼리로 변환 후 실행병렬(Parallel)여러 작업을 동시에 수행100개 제품의 가격을 동시에 가져오기조건문(If Statement)특정 조건에 따라 작업 경로 결정주가 분석 후 매수/매도 결정반복문(For Loop)특정 조건이 충족될 때까지 실행소수를 찾을 때까지 숫자 생성실제 적용 예제:AI가 두 개의 웹사이트를 동시에 크롤링해야 한다면, 병렬 실행(Parallel Execution)이 필요AI가 주가 변동을 분석한 후 매도/매수를 결정..

1. 계획 세분화(Planning Granularity)란?AI의 계획(Plan)은 다양한 수준(Level of Granularity)에서 생성될 수 있음.연 단위 계획 → 가장 상위 수준분기별(Quarterly) 계획 → 중간 수준월별(Monthly) 계획 → 더 세부적인 수준주별(Weekly) 계획 → 가장 낮은 수준세분화된 계획의 장단점계획 수준장점 단점고수준 계획 (High-Level)생성이 빠름, 간단함실행하기 어려움 (상세 정보 부족)세부 계획 (Detailed Plan)실행이 용이생성하는 데 시간이 오래 걸림, 복잡성 증가해결책:AI가 먼저 고수준 계획을 생성한 후, 세부적인 하위 계획을 단계적으로 추가하는 방식 사용예제:1. 분기별 계획 생성 → 2. 각 분기에 대한 월별 계획 생성 → 3..

1. AI의 계획 능력 향상 방법AI 에이전트가 더 나은 계획(Planning)을 세우려면 다음과 같은 개선이 필요함1. 프롬프트 최적화 (Prompt Engineering)더 많은 예제를 제공하여 AI가 패턴을 학습할 수 있도록 함예제 기반 학습 (Few-shot learning)을 활용하여 성능 향상 가능2. 도구 및 매개변수 설명 강화도구의 기능과 필요한 매개변수(Parameter)를 명확하게 설명예제:"convert_units" → AI가 이 함수가 무엇을 변환하는지 이해하기 어려움"convert_lbs_to_kg" → AI가 명확하게 기능을 이해할 수 있음3. 복잡한 함수를 단순화 (Refactoring Complex Functions)하나의 함수가 너무 많은 역할을 수행하면 AI가 계획을 잘못..

1. 기반 모델(FM) vs. 강화 학습(RL) 플래너FM(Foundation Model)과 RL(Reinforcement Learning) 에이전트의 차이점기반 모델(FM) 플래너:대형 언어 모델(LLM) 기반프롬프트 엔지니어링을 통해 계획을 생성일반적으로 사전 학습된 모델을 활용즉시 활용 가능하지만, 계획 성능이 최적화되지 않을 수 있음강화 학습(RL) 플래너:강화 학습을 통해 지속적으로 성능이 개선됨환경과 상호작용하며 최적의 계획을 학습훈련에 많은 데이터와 시간이 필요특정 작업에 맞춘 최적화가 가능결론:FM 플래너는 즉시 사용 가능하지만, RL 플래너는 장기적으로 더 최적화된 결과를 제공미래에는 FM과 RL 플래너가 결합하여 더욱 강력한 AI 시스템이 탄생할 가능성이 높음2. 계획 생성(Plan G..