Haru's 개발 블로그

1. 벡터 데이터베이스란?임베딩 기반 검색에서는 문서를 벡터(Vector)로 변환하여 저장하고 검색합니다.이때, 벡터를 저장하고 빠르게 검색할 수 있도록 벡터 데이터베이스(Vector Database)가 필요합니다.📌 벡터 데이터베이스의 역할✅ 문서를 임베딩 벡터로 변환하여 저장✅ 쿼리를 임베딩한 후, 가장 유사한 벡터를 검색✅ 코사인 유사도(Cosine Similarity)나 유클리디언 거리(Euclidean Distance) 같은 거리 기반 측정 활용💡 왜 벡터 데이터베이스가 필요한가?일반적인 관계형 데이터베이스(RDBMS)는 벡터 기반 검색을 지원하지 않음벡터 간 유사도를 빠르게 계산하려면 전용 데이터 구조 및 알고리즘이 필요기존의 키워드 검색 방식보다 의미적으로 유사한 정보를 찾는 데 최적화됨..

1. BM25: 전통적인 검색 기법의 대표 주자BM25(Best Matching 25)는 TF-IDF의 발전형 알고리즘으로, 문서의 길이를 고려한 가중치를 적용하여 검색 성능을 향상시킵니다.📌 BM25의 핵심 특징✅ 문서 길이 정규화문서가 길면 특정 단어가 더 자주 등장할 가능성이 크므로, 이를 보정하여 보다 공정한 검색이 가능하도록 함✅ 단어 빈도를 반영하여 검색 성능 향상특정 키워드가 문서에서 자주 하면 검색 순위를 높임✅ 여전히 널리 사용되는 검색 알고리즘딥러닝 이전의 검색 시스템에서 강력한 성능을 보였으며, 현재도 많은 기업에서 활용 중2. 토큰화(Tokenization)와 텍스트 전처리검색 시스템에서 입력된 쿼리(query)를 효율적으로 처리하려면, 토큰화(Tokenization) 과정이 필요..

1. 검색 알고리즘의 두 가지 접근 방식검색 알고리즘은 크게 두 가지 방식으로 나뉩니다.1️⃣ 희소 검색(Sparse Retrieval): 단어 기반(Term-Based) 검색2️⃣ 밀집 검색(Dense Retrieval): 임베딩(Embedding) 기반 검색이 블로그에서는 "용어 기반(Term-Based) 검색"을 중심으로 다루고 있지만, 실제로 검색 알고리즘을 분류할 때는 희소 vs. 밀집 검색 기준이 자주 사용됩니다.2. 희소 검색(Sparse Retrieval)희소 검색은 단어(Term) 자체를 벡터로 변환하여 검색하는 방식입니다.전통적인 TF-IDF(Term Frequency-Inverse Document Frequency), BM25 등의 검색 기법이 포함됨문서의 단어를 0과 1이 포함된 벡..

1. RAG 아키텍처(RAG Architecture)RAG(Retrieval-Augmented Generation) 시스템은 크게 두 가지 주요 구성 요소로 이루어집니다.1️⃣ 리트리버(Retriever): 외부 데이터(문서, 테이블, 채팅 기록 등)에서 관련 정보를 검색2️⃣ 생성 모델(Generative Model): 검색된 정보를 바탕으로 응답을 생성사용자가 입력한 프롬프트(prompt)가 먼저 리트리버로 전달됨리트리버는 외부 데이터베이스에서 관련성이 높은 정보를 검색검색된 정보가 생성 모델로 전달되며, 이를 바탕으로 최종 응답이 생성이 구조는 기존의 AI 모델이 단순히 학습된 데이터만으로 답변을 생성하는 방식과는 다릅니다.기존 모델: 미리 학습된 지식을 바탕으로 답변RAG 모델: 실시간으로 관련 ..

1. RAG의 개념: 검색 후 생성 패턴RAG(Retrieval-Augmented Generation)는 "검색 후 생성(retrieve-then-generate)" 패턴을 기반으로 동작하는 AI 기술입니다. 이 개념은 2017년 "Reading Wikipedia to Answer Open-Domain Questions" 논문에서 처음 소개되었습니다. 기본적인 원리는 다음과 같습니다.1️⃣ 문서 검색(Document Retrieval): AI 모델이 질문(Query)과 관련된 문서를 검색하여 가장 관련성이 높은 데이터를 찾음2️⃣ 문서 읽기(Document Reading): 검색된 문서를 AI 모델이 읽고 분석하여 최적의 답변을 생성예제 "1933년 바르샤바 주민 중 몇 명이 폴란드어를 사용했는가?"➡ ..

1. 서론: AI 모델의 한계를 극복하는 방법현대의 AI 모델은 사용자의 명령을 따르는 데 뛰어난 능력을 가지고 있지만, 이 능력은 동시에 보안 공격에 취약하게 만들 수도 있습니다. 악의적인 사용자가 모델을 조작하여 원하지 않는 출력을 유도하는 사례가 발생할 수 있기 때문입니다. 이에 따라 보안이 중요한 환경에서는 AI의 도입이 쉽지 않으며, 철저한 보안 대책이 필요합니다.하지만 AI가 단순히 명령을 따르는 것만으로는 충분하지 않습니다. 특정 작업을 수행하려면, 명령뿐만 아니라 적절한 정보(컨텍스트)도 함께 제공되어야 합니다. 예를 들어, 사람이 정보를 모른 채로 질문에 답해야 할 경우, 틀린 답변을 할 가능성이 높습니다. 마찬가지로 AI 모델도 필요한 정보를 제공받지 못하면 환각(hallucinatio..