긴 문서를 AI에게 통째로 읽히는 방법 (그리고 한계)

"파일을 붙였는데 앞부분만 읽은 것 같다"는 경험이 있다면, 그건 AI 가 게을러서가 아닙니다. 한 번에 실을 수 있는 분량이 정해져 있고, 그 분량을 넘으면 무언가는 버려야 하기 때문입니다. 이 글은 무엇이 버려지고, 어떻게 넘기면 덜 버려지는지에 대한 이야기입니다.

창(context window)은 하나이고, 입력과 출력이 나눠 쓴다

AI 모델에는 한 번의 대화에서 다룰 수 있는 총량이 있습니다. 이 서비스가 쓰는 모델은 131,072 토큰입니다. 한국어 산문은 대략 1.2~1.4자에 1토큰이므로, 넉넉히 잡아도 약 15만 자 정도입니다. 200자 원고지로 750매쯤 됩니다.

중요한 것은 이 총량을 입력과 출력이 함께 나눠 쓴다는 점입니다.

• 답변을 길게 받도록 여유를 잡아 두면, 그만큼 넣을 수 있는 자료가 줄어듭니다.
• 반대로 자료를 가득 채우면 답변이 중간에 끊깁니다.

이 서비스는 답변용으로 32,768 토큰을 남겨 둡니다. 원고지 180매쯤 되는 답변이 한 번에 나올 수 있는 크기입니다. 그래서 자료에 쓸 수 있는 예산은 약 11만 자입니다. 제로섬입니다 — 어느 쪽을 늘리면 다른 쪽이 줄어듭니다.

넘치면 무엇이 버려지는가

예산을 넘어가면 세 가지 중 하나가 일어납니다. 어느 쪽인지 알면 대처가 달라집니다.

1. 거절 — 아무 답도 못 받습니다. 최악입니다.
2. 조용한 절단 — 뒷부분이 잘린 채 답이 나옵니다. 답은 그럴듯한데 근거가 없습니다. 가장 위험합니다.
3. 오래된 대화부터 흘려보내기 — 자료는 지키고 앞선 대화를 버립니다.

이 서비스는 3번을 씁니다. 자료를 잘라 잘못된 답을 내는 것보다, 오래된 잡담을 버리는 편이 낫다고 봤기 때문입니다. 다만 부작용이 있습니다 — 아주 긴 대화 뒤에는 "처음에 뭐라고 했지"가 안 됩니다. 중요한 전제는 대화가 길어지면 한 번씩 다시 적어 주는 편이 안전합니다.

자료가 예산을 다 먹으면 대화가 사라진다

첨부 자료에는 예산의 75% 까지만 할당됩니다. 전부 주지 않는 이유는 단순합니다. 자료가 창을 다 채우면 직전에 주고받은 대화가 통째로 밀려나기 때문입니다. "방금 말한 그 항목"이 무엇인지 모르는 상태가 됩니다.

그래서 실무에서는 이 순서가 잘 먹힙니다.

• 한 번에 다 넣지 말고 나눠서 묻기. 200페이지 계약서라면 "3장만 먼저" 처럼 범위를 좁힙니다.
• 요약을 받은 뒤, 그 요약을 근거로 다시 묻기. 요약은 원문보다 훨씬 짧아 창을 아낍니다.
• 표·숫자는 원문 그대로. 요약은 언제나 정보를 잃습니다. 숫자가 중요한 자료는 해당 부분만 원문으로 넣습니다.

파일 형식에 따라 실제로 들어가는 양이 다르다

같은 "10MB 파일"이라도 텍스트로 바꿨을 때의 분량은 크게 다릅니다.

스캔한 PDF 는 특히 주의할 만합니다. 겉보기에는 문서지만 내용은 그림이라, "파일은 붙었는데 아무것도 못 읽는" 상황이 됩니다. 이럴 때는 문자 인식을 거친 파일로 바꿔서 넣어야 합니다.

무엇을 넣지 않을지가 정확도를 만든다

의외로 결과를 가장 크게 바꾸는 것은 덜 넣는 것입니다.

• 회의 녹취록이라면 인사말·잡담 구간을 지웁니다. 분량의 20~30% 가 줄어드는 경우가 흔합니다.
• 계약서 검토라면 표준 조항보다 특약·수정 조항이 중요합니다. 그쪽만 넣습니다.
• 여러 파일을 한 번에 붙일 때는 서로 겹치는 자료를 하나로 줄입니다. 같은 내용이 두 번 들어가면 예산만 두 배로 씁니다.

정리

• 창은 하나이고 입력과 출력이 나눠 쓴다. 답변을 길게 받으려면 자료를 줄여야 한다.
• 넘칠 때 조용히 잘리는 것이 가장 위험하다. 근거를 함께 물어 확인하는 습관이 안전하다.
• 파일 크기가 아니라 텍스트로 바꿨을 때의 분량이 기준이다. 스캔 PDF 는 글자가 없다.
• 잘 넣는 것보다 덜 넣는 것이 정확도를 올린다.

한계를 알고 나눠서 물으면, 200페이지짜리 자료도 충분히 다룰 수 있습니다.