Haru's 개발 블로그

1. 검색 알고리즘 비교: 장단점 분석검색 기술은 크게 용어 기반 검색(Term-Based Retrieval)과 임베딩 기반 검색(Embedding-Based Retrieval)으로 나뉩니다.용어 기반 검색 (Term-Based Retrieval)1. 빠른 검색 속도검색 시, 단어를 문서 내에서 단순 매칭하여 검색하므로 속도가 빠름텍스트를 벡터로 변환하는 과정이 없기 때문에 계산 비용이 낮음2. 즉시 활용 가능Elasticsearch, BM25 등 기존의 검색 시스템에서 바로 사용 가능별도의 모델 학습 없이 키워드 기반으로 검색 가능한계점문맥을 고려하지 않음 → 단어가 정확히 일치해야 검색 가능동의어나 유사 개념을 인식하지 못함 → 예: "AI"와 "인공지능"을 다르게 처리할 가능성 있음단어 중의성(Am..

1. 벡터 데이터베이스란?임베딩 기반 검색에서는 문서를 벡터(Vector)로 변환하여 저장하고 검색합니다.이때, 벡터를 저장하고 빠르게 검색할 수 있도록 벡터 데이터베이스(Vector Database)가 필요합니다.벡터 데이터베이스의 역할문서를 임베딩 벡터로 변환하여 저장쿼리를 임베딩한 후, 가장 유사한 벡터를 검색코사인 유사도(Cosine Similarity)나 유클리디언 거리(Euclidean Distance) 같은 거리 기반 측정 활용왜 벡터 데이터베이스가 필요한가?일반적인 관계형 데이터베이스(RDBMS)는 벡터 기반 검색을 지원하지 않음벡터 간 유사도를 빠르게 계산하려면 전용 데이터 구조 및 알고리즘이 필요기존의 키워드 검색 방식보다 의미적으로 유사한 정보를 찾는 데 최적화됨2. 벡터 검색(Vec..

1. RAG 아키텍처(RAG Architecture)RAG(Retrieval-Augmented Generation) 시스템은 크게 두 가지 주요 구성 요소로 이루어집니다.1. 리트리버(Retriever): 외부 데이터(문서, 테이블, 채팅 기록 등)에서 관련 정보를 검색2. 생성 모델(Generative Model): 검색된 정보를 바탕으로 응답을 생성사용자가 입력한 프롬프트(prompt)가 먼저 리트리버로 전달됨리트리버는 외부 데이터베이스에서 관련성이 높은 정보를 검색검색된 정보가 생성 모델로 전달되며, 이를 바탕으로 최종 응답이 생성이 구조는 기존의 AI 모델이 단순히 학습된 데이터만으로 답변을 생성하는 방식과는 다릅니다.기존 모델: 미리 학습된 지식을 바탕으로 답변RAG 모델: 실시간으로 관련 정보..

1. RAG의 개념: 검색 후 생성 패턴RAG(Retrieval-Augmented Generation)는 "검색 후 생성(retrieve-then-generate)" 패턴을 기반으로 동작하는 AI 기술입니다. 이 개념은 2017년 "Reading Wikipedia to Answer Open-Domain Questions" 논문에서 처음 소개되었습니다. 기본적인 원리는 다음과 같습니다.1. 문서 검색(Document Retrieval): AI 모델이 질문(Query)과 관련된 문서를 검색하여 가장 관련성이 높은 데이터를 찾음2. 문서 읽기(Document Reading): 검색된 문서를 AI 모델이 읽고 분석하여 최적의 답변을 생성예제 "1933년 바르샤바 주민 중 몇 명이 폴란드어를 사용했는가?"➡ AI..

1. 서론: AI 모델의 한계를 극복하는 방법현대의 AI 모델은 사용자의 명령을 따르는 데 뛰어난 능력을 가지고 있지만, 이 능력은 동시에 보안 공격에 취약하게 만들 수도 있습니다. 악의적인 사용자가 모델을 조작하여 원하지 않는 출력을 유도하는 사례가 발생할 수 있기 때문입니다. 이에 따라 보안이 중요한 환경에서는 AI의 도입이 쉽지 않으며, 철저한 보안 대책이 필요합니다.하지만 AI가 단순히 명령을 따르는 것만으로는 충분하지 않습니다. 특정 작업을 수행하려면, 명령뿐만 아니라 적절한 정보(컨텍스트)도 함께 제공되어야 합니다. 예를 들어, 사람이 정보를 모른 채로 질문에 답해야 할 경우, 틀린 답변을 할 가능성이 높습니다. 마찬가지로 AI 모델도 필요한 정보를 제공받지 못하면 환각(hallucinatio..