지금까지 6편에 걸쳐 RAG(Retrieval-Augmented Generation) 시스템을 구성하는 핵심 기술들을 살펴보았다. 1편에서는 RAG의 개념과 전체 검색 파이프라인을 이해했고, 2편에서는 Chunking과 Embedding을 중심으로 Indexing Pipeline을 살펴보았다.3편과 4편에서는 BM25, Vector Search, Hybrid Search, RRF, Reranking 등 검색 정확도를 개선하는 기술들을 다뤘다.5편에서는 Query Rewriting과 Context Optimization 등의 Advanced RAG 기술을 살펴보았고, 6편에서는 AI Agent가 검색 도구를 선택하고 실행하는 Agentic RAG까지 알아보았다. 그렇다면 이러한 기술들을 실제 서비스에 적용..

지난 글에서는 Advanced RAG의 주요 기술인 Query Rewriting, Query Expansion, Query Decomposition, HyDE, Context Optimization에 대해 살펴보았다.지금까지 다룬 RAG 시스템은 대부분 미리 정의된 검색 파이프라인을 따라 동작했다.User Query ↓Query Rewriting ↓Hybrid Search ↓RRF Fusion ↓Reranking ↓Context Building ↓LLM Generation ↓Answer이러한 구조는 문서 기반 질의응답에 효과적이다.하지만 실제 서비스에서는 단순히 관련 문서를 검색하는 것만으로 해결할 수 없는 질문도 많다.예를 들어 사용자가 다음과 같이 질문했다고 가정..

지난 글에서는 Hybrid Search의 검색 결과를 병합하는 RRF(Reciprocal Rank Fusion) 와 검색 후보의 관련성을 다시 평가하는 Reranking에 대해 살펴보았다. 지금까지 다룬 RAG 검색 파이프라인은 다음과 같다.User Query ↓BM25 + Dense Retrieval ↓RRF Fusion ↓Reranking ↓Context Building ↓LLM Generation ↓Answer이 구조만으로도 기본적인 RAG 검색 시스템을 구축할 수 있다.하지만 실제 서비스에서는 검색 알고리즘을 개선하는 것만으로 해결하기 어려운 문제가 발생한다.예를 들어 사용자가 다음과 같이 질문했다고 가정해 보자."그 드론은 왜 또 고장 난 거야?"이 질문에는 어떤..

지난 글에서는 RAG의 Retrieval 단계에서 사용하는 BM25, Dense Retrieval, Hybrid Search의 동작 원리를 살펴보았다.Hybrid Search는 키워드 기반의 Sparse Retrieval과 의미 기반의 Dense Retrieval을 결합해 서로 다른 검색 방식의 장점을 활용하는 전략이다. 하지만 두 검색 방식의 결과를 가져오는 것만으로는 충분하지 않다. 예를 들어 BM25는 특정 문서를 1위로 반환하고, Vector Search는 같은 문서를 5위로 반환할 수 있다. 또한 두 검색 방식은 서로 다른 기준으로 점수를 계산하기 때문에 점수를 단순히 더하기도 어렵다. 이러한 문제를 해결하기 위해 사용하는 기술이 RRF(Reciprocal Rank Fusion) 이다.그리고 검..

[RAG 시리즈 ③] RAG 검색 알고리즘: BM25부터 Vector Search, Hybrid Search까지지난 글에서는 RAG의 Indexing Pipeline을 중심으로 데이터 수집, Chunking, Embedding, Indexing 과정을 살펴보았다.원본 문서를 Chunk 단위로 분할하고, Embedding 모델을 통해 벡터로 변환한 뒤 검색 엔진에 저장하는 과정이었다. 그렇다면 이렇게 저장된 데이터는 실제로 어떻게 검색될까? RAG에서 검색을 담당하는 단계를 Retrieval이라고 한다.Retrieval은 사용자 질문과 관련된 문서를 검색 인덱스에서 찾아오는 과정이다. 이 단계에서 어떤 검색 알고리즘을 사용하느냐에 따라 검색 결과의 정확도가 크게 달라질 수 있다. 대표적인 검색 방식은 다음..

지난 글에서는 RAG(Retrieval-Augmented Generation)의 기본 개념과 전체 아키텍처를 살펴보았다.이번 포스팅은 RAG 데이터 전처리 과정이다.본 포스팅을 통해 원본 데이터가 검색 가능한 인덱스로 만들어지는 과정 이해해보자. RAG 시스템은 크게 두 개의 파이프라인으로 구성된다.Indexing Pipeline: 원본 데이터를 검색 가능한 형태로 가공하고 저장하는 과정Query Pipeline: 사용자 질문과 관련된 데이터를 검색하고 LLM을 통해 답변을 생성하는 과정이번 글에서는 그중 Indexing Pipeline을 자세히 살펴보려고 한다.RAG 검색 품질은 단순히 어떤 Vector DB나 LLM을 사용하느냐에 따라 결정되지 않는다. 원본 데이터를 어떻게 가공하고, 문서를 어떤 크..