Embedding 2

[LLM] 임베딩 기반 검색과 벡터 데이터베이스(Vector Database)

1. 벡터 데이터베이스란?임베딩 기반 검색에서는 문서를 벡터(Vector)로 변환하여 저장하고 검색합니다.이때, 벡터를 저장하고 빠르게 검색할 수 있도록 벡터 데이터베이스(Vector Database)가 필요합니다.벡터 데이터베이스의 역할문서를 임베딩 벡터로 변환하여 저장쿼리를 임베딩한 후, 가장 유사한 벡터를 검색코사인 유사도(Cosine Similarity)나 유클리디언 거리(Euclidean Distance) 같은 거리 기반 측정 활용왜 벡터 데이터베이스가 필요한가?일반적인 관계형 데이터베이스(RDBMS)는 벡터 기반 검색을 지원하지 않음벡터 간 유사도를 빠르게 계산하려면 전용 데이터 구조 및 알고리즘이 필요기존의 키워드 검색 방식보다 의미적으로 유사한 정보를 찾는 데 최적화됨2. 벡터 검색(Vec..

[LLM] RAG 시스템의 아키텍처와 검색 알고리즘

1. RAG 아키텍처(RAG Architecture)RAG(Retrieval-Augmented Generation) 시스템은 크게 두 가지 주요 구성 요소로 이루어집니다.1. 리트리버(Retriever): 외부 데이터(문서, 테이블, 채팅 기록 등)에서 관련 정보를 검색2. 생성 모델(Generative Model): 검색된 정보를 바탕으로 응답을 생성사용자가 입력한 프롬프트(prompt)가 먼저 리트리버로 전달됨리트리버는 외부 데이터베이스에서 관련성이 높은 정보를 검색검색된 정보가 생성 모델로 전달되며, 이를 바탕으로 최종 응답이 생성이 구조는 기존의 AI 모델이 단순히 학습된 데이터만으로 답변을 생성하는 방식과는 다릅니다.기존 모델: 미리 학습된 지식을 바탕으로 답변RAG 모델: 실시간으로 관련 정보..