내 데이터로 답하게 만드는 법

답을 잘하는 비결은 더 똑똑한 AI 모델이 아닙니다. 질문에 맞는 증거를 찾아서, 모델 앞에 올려 놓는 일입니다. 그래서 이 가이드의 중심은 ‘답을 만드는 법’이 아니라 ‘자료를 정리하고, 찾고, 검증하는 법’입니다.

개인이나 조직만의 문서, 표, 메일, 회의록을 바탕으로 답하는 시스템을 어떻게 설계할지를 다룹니다. 어려운 말이 처음 나오면 짧게 풀어 두었습니다. 전문 용어를 몰라도 비유만 따라오면 전체 그림이 보입니다.

도서관으로 보면 네 단계입니다

자료를 검색하기 좋게 쪽 단위로 나누는 일이 청킹(Chunking)입니다. 나눈 조각에 ‘의미의 좌표’를 붙여, 비슷한 내용을 찾을 수 있게 만드는 일이 임베딩(Embedding)입니다. 책마다 주제 분류 번호를 붙이는 일과 비슷합니다.

질문이 들어오면 관련 조각을 찾아오는 일이 검색(Retrieval)입니다. 사서가 서가에서 책을 꺼내 오는 일입니다. 그 조각을 읽고 답을 쓰는 일이 생성(Generation)입니다.

이 네 단계를 합친 기본 방식을 검색 증강 생성(Retrieval-Augmented Generation, RAG)이라고 부릅니다. 검색으로 재료를 보강한 뒤 답을 만든다는 뜻입니다. 한 단계라도 부실하면 마지막 답이 통째로 틀어집니다.

먼저 알아 둘 말

나머지 말은 나올 때마다 그 자리에서 풀어 둡니다.

방법 이름부터 고르지 마세요

내 자료가 어떤 모양이고, 사람들이 어떤 질문을 던지는지부터 보면 구조는 대부분 정해집니다.

1. 자료가 작으면 검색 시스템을 만들지 않는 편이 나을 수 있습니다. 전체가 약 20만 토큰, 책으로 약 500쪽 이하이고 자주 바뀌지 않으면, 통째로 건네는 긴 문맥이 더 단순하고 싸고 종종 더 정확합니다.
2. 문서 한곳에서 답을 찾는 질문이 대부분이면, 잘 만든 기본형으로 충분합니다. 하이브리드 검색에 조각마다 문맥 설명을 붙이는 문맥 기반 검색, 그리고 재정렬을 더한 조합이 현재 가장 검증된 기본값입니다. 앤트로픽의 실험에서 이 조합은 정답 조각을 상위 20개 안에서 놓치는 비율을 5.7%에서 1.9%로, 67% 낮췄습니다.
3. 여러 문서를 연결해야 답이 되면 조각 검색만으로는 부족합니다. 관계를 지도로 그리는 그래프 검색이나, 사람이 읽을 수 있는 문서로 미리 정리하는 위키가 필요합니다. 다만 그래프는 단순한 사실 질문에서 기본 방식보다 못할 수 있습니다. 연결이 핵심인 질문에만 씁니다.
4. 말투, 형식, 판단 방식이 문제라면 검색 문제가 아닙니다. 미세 조정은 행동을 가르치는 도구입니다. 자주 바뀌는 사실을 외우게 하면, 낡은 지식을 고칠 수도 출처를 댈 수도 없습니다. 사실은 검색으로, 행동은 훈련으로 나눕니다.
5. 측정 없이는 개선이 없습니다. 실제 질문 50~100개와 정답 위치를 먼저 모아 두는 평가 집합이 출발점입니다. 감으로 조각 크기를 바꾸는 것은 도박입니다.

여기에 세 가지를 더합니다.

• 길게 넣는다고 잘 찾는 것은 아닙니다. 입력이 길어질수록 내용을 놓치는 문맥 부패(Context Rot)가 최신 모델에서도 확인됐습니다.
• 모든 방법의 차이는 결국 정리 비용을 언제 치를 것인가로 모입니다. 넣을 때 정리할 것인가, 질문할 때 찾을 것인가.
• ‘지난 분기 계약은 몇 건인가’ 같은 숫자 질문은 검색이 아니라 데이터베이스 질의가 담당합니다.

이 가이드를 읽는 순서

1. 왜 기본 검색은 쉽게 실패하는가
2. 자료 준비
3. 찾고, 근거로 답하기
4. 그래프와 위키
5. 길게 넣기, 에이전트, 자료 모양별 도구
6. 섞어서 설계하고 출발점 고르기
7. 측정, 운영, 하지 말아야 할 것

이 글은 공개된 연구와 기술 문서에 근거한 설계 제안입니다. 특정 조직의 자료에서 성능을 검증한 결과는 아니므로, 구현 전에 작은 자료 집합으로 비교해야 합니다. 공개된 숫자는 방향을 알려 줄 뿐, 크기는 내 평가 집합으로 다시 재야 합니다.