편 1 · 실패와 질문4 분 읽기

검색 증강 생성은 왜 쉽게 실패하는가

기본 RAG가 하루 만에 만들어지고도 업무에서 틀어지는 이유, 단계별 고장, 문맥 손실, 그리고 설계 전에 답할 여덟 가지 질문.

인터넷 강좌의 기본 형태는 단순합니다. 문서를 모으고, 일정 크기로 자르고, 의미 좌표를 붙이고, 저장한 뒤, 질문과 비슷한 조각을 찾아 AI에게 답을 시키면 됩니다. 시범용은 하루면 됩니다. 실제 업무에 붙이면 답이 자주 어긋납니다.

이유는 단순합니다. 이것은 기술 하나가 아니라 여섯 단계가 이어진 작업 흐름이고, 최종 품질은 가장 약한 단계가 결정하기 때문입니다.

단계마다 무엇이 깨지는가

조각은 검색의 단위입니다. 경계를 잘못 자르면, 그 정보는 어떤 좋은 검색 기술을 써도 찾을 수 없습니다. 문맥은 여섯 가지로 사라집니다.

계약서가 대표적인 예입니다. 4조는 ‘매달 일정 금액을 낸다’이고, 9조는 ‘예외적으로 환불되는 조건’입니다. ‘환불이 되나요?’에 4조만 찾아오면 결론이 틀립니다. 조각 하나를 찾았다는 것과, 답에 필요한 증거를 충분히 찾았다는 것은 다른 일입니다.

점검법은 간단합니다. 사람이 그 조각만 읽고 무슨 말인지 모르면, AI도 모릅니다.

기본 검색은 ‘답이 문서 어딘가 한곳에 있는’ 질문에 강합니다. 다음 셋은 구조적으로 약합니다.

실패를 ‘모델이 부족해서’라고 진단하면 해결책은 모델 교체밖에 남지 않습니다. 대부분의 실패는 모델이 답을 쓰기 훨씬 전, 자료를 해석하고 나누고 저장하는 단계에서 이미 정해져 있습니다.

확인할 것	무엇을 보는가	구조에 미치는 영향
크기	전체 분량을 토큰으로 바꾸면 얼마인가	수십만 토큰 이하면 통째로 넣는 방식이 더 정확할 수 있음. 수백만 이상이면 검색 층이 필요
모양	줄글, 표, PDF, 발표 자료, 코드, 대화 중 무엇이 중심인가	표는 질의, 시각 문서는 그림 검색, 코드는 파일 탐색
질문 종류	한곳의 사실, 전체 요약, 연결, 합산의 비율	사실 위주면 기본 고도화. 연결·전역이 많으면 그래프나 사전 정리
변경 속도	한 번 쌓고 끝인가, 매주인가, 실시간인가	자주 바뀌면 다시 만들기 비싼 그래프가 불리. 실시간이면 원본을 직접 읽기
정확도	틀리면 얼마나 큰가, 출처가 필수인가	높을수록 출처 강제, 재정렬, 답-근거 일치 검사
속도·비용	몇 초 안에 답해야 하는가	실시간 대화는 한 번 검색. 조사 업무는 여러 번 찾기도 가능
보안·권한	사람마다 볼 문서가 다른가	권한 검사는 검색 단계에서. 민감하면 자체 운용도 검토
언어	한국어만인가, 한·영이 섞이는가	형태소 분석과 언어별 성능 확인이 필요

질문 종류에 따라 첫 방법도 달라집니다.

실제 사용자가 던질 질문 50~100개와, 각 정답이 어느 문서 어디에 있는지를 모아 두세요. 이것이 평가 집합입니다. 있어야 조각 크기, 검색 방식, 재정렬 여부를 감이 아니라 숫자로 비교할 수 있습니다.

쉬운 질문만 넣으면 점수가 거짓말을 합니다. 답이 자료에 없는 질문, 연결형 질문, 최신 정보 질문도 반드시 섞어야 합니다.