답의 품질은 자료를 준비할 때 결정된다
해석, 메타데이터, 자료 종류별 나누기, 부모-자식과 늦은 나누기, 인덱싱, 그리고 한국어에서 특히 깨지는 지점.
On This Page
답의 품질은 모델을 고르는 순간이 아니라, 자료를 읽고 나누고 저장하는 단계에서 대부분 결정됩니다. 쓰레기가 들어가면 검색도 쓰레기가 됩니다.
모으고 해석하기
PDF, 스캔, 표, 발표 자료는 구조를 살려 읽는 전용 도구를 씁니다. 표는 글로 뭉개지 말고 열 제목과 행을 유지합니다. 웹 문서와 마크다운은 제목의 상하 관계를 정보로 남깁니다. 이 제목 경로가 나중에 조각의 문맥을 되살리는 가장 싼 재료입니다.
같은 정책의 옛 판본과 새 판본이 함께 있으면 모델은 둘을 섞어 답합니다. 중복, 초안, 옛 판본은 지우거나 판본 정보를 붙입니다.
모든 조각에는 최소한의 꼬리표가 필요합니다. 출처 문서, 절과 쪽, 만든 날짜와 고친 날짜, 소유자, 볼 수 있는 범위, 문서 종류입니다.
| 원본 | 따로 챙길 것 |
|---|---|
| PDF, 워드 | 문단, 제목, 표, 쪽 |
| 파워포인트 | 슬라이드와 발표자 메모의 연결 |
| 엑셀, CSV | 열 이름과 자료 형태 |
| 이메일 | 보낸 사람, 받는 사람, 답장 흐름, 날짜 |
| 메신저 | 대화 흐름, 답글, 시점 |
| 회의 녹취 | 말한 사람, 시간, 논의·결정·할 일의 구분 |
| 관계형 데이터베이스 | 표 사이 관계, 칸의 뜻, 권한 |
| 그림이 든 문서 | 표, 도표, 그림의 내용을 따로 해석 |
원본 파일, 뽑아낸 글, 표 구조, 원본 위치를 서로 연결해 보관합니다. 이 연결이 끊기면 나중에 출처를 댈 수 없습니다.
나누기에는 정답이 없고 기본값은 있습니다
연구들이 공통으로 말하는 교훈은 둘입니다. ‘똑똑해 보이는’ 나누기가 항상 이기지는 않습니다. 조각이 너무 작으면 관련 조각을 찾는 비율은 올라가도, 답을 만들 문맥이 부족해집니다. 많이 찾았는데 답은 틀리는 함정입니다.
실무에서 검증이 많은 출발점은 구조를 따라 재귀적으로 나누기입니다. 문단, 문장, 단어 순으로 자연스러운 경계를 우선하고, 크기는 약 512토큰, 이웃 조각과 겹치는 부분은 10~20%를 기본으로 둡니다.
| 자료 | 권장 | 피할 것 |
|---|---|---|
| 일반 글·보고서 | 문단 경계, 최대 약 512~800토큰 | 문단 중간을 임의로 자르기 |
| 마크다운·기술 문서 | 제목 단위로 나누고 제목 경로를 꼬리표로 보관 | 제목과 본문을 떼기 |
| 코드 | 함수·클래스 단위 | 함수 본문 중간 |
| 표 | 열 제목을 행 묶음마다 반복 | 제목 없는 행만 나누기 |
| 목록 | 소개 문장을 항목 묶음에 반복 | 항목만 떼기 |
| 법률·의료·표준 | 작은 조각에 상위 장·절을 함께 넣기 | 조항 번호와 조건을 분리 |
| 대화·회의록 | 말한 사람이나 주제가 바뀌는 지점 | 토큰 수만으로 자르기 |
고정 크기, 의미가 바뀌는 지점, 제목·표 구조를 따르는 방식이 있습니다. 실용적인 조합은 구조 인식을 기본으로 하고 아래 둘을 더하는 것입니다.
부모-자식 나누기는 작은 자식 조각으로 찾고, 답을 쓸 때는 그 조각이 속한 부모 절 전체를 건넵니다. 찾는 단위와 읽는 단위를 나누면 정확함과 문맥을 같이 얻습니다. 시작점으로 검색용 300600토큰, 부모 문맥 1,5003,000토큰을 비교해 볼 수 있지만, 보편 정답은 아니므로 평가 집합으로 확인합니다.
늦은 나누기는 순서를 뒤집습니다. 문서 전체를 먼저 읽어 글자마다 의미 표현을 만든 뒤 조각 경계로 나눕니다. 각 조각에 문서 전체의 문맥이 스며들어, 다른 곳에서 설명된 대상을 가리키는 조각도 잘 찾힙니다. 설명문을 따로 생성하지 않아 그 비용은 없습니다. 대신 문서가 임베딩 모델이 한 번에 읽는 한도, 예를 들어 8,192토큰 약 10쪽을 넘으면 쓸 수 없습니다.
저장은 한 번 잘못 고르면 전부 다시 만듭니다
인덱싱은 나중에 찾기 좋게 정리해 넣는 일입니다.
- 임베딩 모델을 바꾸면 숫자 공간 자체가 달라져 전부 다시 만들어야 합니다. 모델 이름과 판본을 조각마다 기록하고, 바꿀 때는 새것과 옛것을 함께 쓰는 전환 계획을 세웁니다.
- 바뀌지 않은 조각은 건너뜁니다. 내용과 모델 판본으로 만든 지문을 열쇠로 쓰면, 안 바뀐 조각은 다시 계산하지 않아 비용이 줄고 중간에 멈춘 작업도 이어 갈 수 있습니다.
- 의미 검색용과 키워드 검색용을 둘 다 만듭니다. 나중 단계에서 없던 색인을 보완할 수 없습니다.
- 날짜, 부서, 접근 등급은 저장할 때 넣습니다. 검색한 뒤에 걸러내는 방식은 보안과 정확함 모두에서 실패합니다.
한국어에서 특히 깨지는 지점
한국어는 단어 뒤에 조사와 어미가 붙습니다. ‘계약서를’과 ‘계약서’를 컴퓨터는 다른 단어로 볼 수 있습니다. 키워드 검색에는 말을 최소 단위로 쪼개는 형태소 분석이 필요합니다. 노리(Nori), 키위(Kiwi), 메캡(MeCab) 같은 도구가 이 일을 하고, 어떤 분석기를 고르느냐가 정확도에 직접 영향을 줍니다.
임베딩 모델의 한국어 실력은 영어 시험 성적과 다를 수 있습니다. 한·영이 섞인 자료라면 다음을 모두 시험합니다.
- 한국어 질문 → 한국어 문서
- 영어 질문 → 영어 문서
- 한국어 질문 → 영어 문서
- 회사 줄임말, 사람 이름, 전문 용어, 제품 번호, 계약 번호처럼 정확한 단어 찾기