용어 찾아보기

AI와 대화가 길어지면 앞 내용을 잊을 때, 다시 알려 주는 법 (컨텍스트 윈도우 뜻)

AI가 처음에 말해 둔 조건을 놓치는 이유, 대화가 길어질 때 앞부분이 밀려나는 방식, 중요한 조건을 다시 알려 주고 새 대화로 옮기는 순서를 그림 세 장으로 정리했습니다.

2026년 10월 9일 · 6분 분량 · 다시 묻는 AI 편집

“AI랑 한참 얘기하다 보면 처음에 말해 둔 조건을 잊어버린 것 같아요. 왜 그래요? 다시 말해 줘야 하나요?”

처음에 “표는 세 칸으로, 존댓말로”라고 분명히 말해 두었는데, 대화가 길어지자 AI가 그 조건을 모르는 듯한 답을 내놓을 때가 있습니다. 옆자리 동료는 “컨텍스트 창이 꽉 차서 그렇다”고 하지만, 창이 무엇이고 왜 차는지 되묻기는 애매합니다. AI가 답을 만들 때 한 번에 펼쳐 볼 수 있는 글의 범위, 이걸 컨텍스트 창(컨텍스트 윈도우)이라고 부릅니다. 아래에서 왜 앞 내용을 놓치는지, 대화가 길어지면 무슨 일이 생기는지, 지금 해 볼 것을 차례로 봅니다.

✅ 한눈에 답

• 대화가 길어지면 지난 대화가 쌓여 AI가 한 번에 볼 수 있는 범위를 채우고, 앞부분이 밀려나거나 요약될 수 있습니다.
• 처음에 정한 중요한 조건은 대화 중간에 한 번 더 적어 줍니다.
• 주제가 바뀌었거나 대화가 아주 길어졌다면, 정한 내용을 짧게 정리해 새 대화로 옮깁니다.

🧩 왜 앞 내용을 놓칠까요: AI가 한 번에 펼쳐 볼 수 있는 분량

컨텍스트 창은 영어 context window를 옮긴 말로, 컨텍스트 윈도우라고도 부릅니다. Anthropic은 공식 문서에서 컨텍스트 창을 언어 모델이 응답을 만들 때 참고할 수 있는 모든 글이라고 설명하고, 여기에 응답 자체도 포함된다고 적고 있습니다. 또 이것은 모델이 학습한 방대한 자료와는 다른, 모델의 “작업 메모리”라고 설명합니다.

Google도 Gemini API 안내에서 컨텍스트 창을 단기 기억에 빗댑니다. 사람이 한 번에 머릿속에 담아 둘 수 있는 양에 한계가 있듯, AI도 한 번에 볼 수 있는 양이 정해져 있다는 뜻입니다. 이 양은 글자 수가 아니라 토큰 수로 잽니다.

🏢 회사로 치면, 책상 넓이

컨텍스트 창은 책상 넓이와 비슷합니다. 일하는 동안 책상 위에 펼쳐 둔 서류만 바로 보면서 일할 수 있습니다. 지난 회의 메모, 오늘 받은 자료, 방금 들은 지시를 모두 올려 둘 수 있지만 책상 크기를 넘으면 더 올릴 수 없습니다. 책상이 넓으면 긴 계약서나 여러 문서를 한꺼번에 펼쳐 두고 비교하기가 수월해집니다. Anthropic도 큰 컨텍스트 창이 더 길고 복잡한 요청을 다룰 수 있게 해 준다고 설명합니다.

다만 실제 책상과 달리, AI가 지금 쓰고 있는 답도 같은 책상 자리를 차지합니다. 자료를 가득 올려 두면 답을 쓸 자리가 그만큼 좁아진다는 점이 다릅니다.

AI와 대화가 길어지면 생기는 일

Anthropic은 대화가 이어질수록 사용자의 메시지와 AI의 응답이 컨텍스트 창 안에 차곡차곡 쌓인다고 설명합니다. 그러다 보면 결국 한도에 가까워집니다. 같은 문서는 채팅 서비스가 먼저 들어온 것부터 밀어내는 방식으로 컨텍스트 창을 관리할 수도 있다고 적고 있습니다.

Google도 컨텍스트 창이 작은 경우에는 토큰을 아끼려고 오래된 메시지를 지우거나 내용을 요약하는 방법을 쓰는 일이 많다고 안내합니다. 처음에 말한 조건을 AI가 놓치는 것처럼 보이는 이유가 여기에 있을 수 있습니다.

Anthropic의 개발자용 문서에는 넣은 글만으로 이미 한도를 넘으면 요청이 처리되지 않는다고 적혀 있고, 대화의 앞부분을 자동으로 요약해 한도를 넘어서도 대화를 이어 가게 하는 ‘압축’ 기능도 소개되어 있습니다. 요약은 편리하지만, 세세한 조건이 요약 과정에서 줄어들 수 있다는 점은 기억해 둘 만합니다.

컨텍스트 윈도우 크기는 얼마나 되나요

Google은 많은 제미나이(Gemini) 모델이 100만 개 이상의 토큰을 담는 컨텍스트 창을 제공한다고 안내합니다. 토큰 100만 개의 예로는 평균 길이의 영어 소설 8권, 코드 5만 줄을 듭니다. Anthropic도 모델에 따라 최대 100만 토큰이라고 밝힙니다. 이 숫자는 개발자용 안내에 나온 것이어서, 우리가 쓰는 앱에서 같은 크기를 쓸 수 있다고 단정하기는 어렵습니다. 크기는 모델과 서비스마다 다르고 바뀌기도 하므로, 정확한 숫자가 필요하면 쓰고 있는 서비스의 공식 안내를 확인하는 편이 안전합니다.

🔍 주의할 점: 자주 하는 오해 두 가지

첫째, ‘창이 넓을수록 무조건 좋다’는 오해입니다. Anthropic은 컨텍스트가 많다고 자동으로 더 좋은 것은 아니며, 토큰이 늘어날수록 정확도가 떨어질 수 있다고 설명합니다. 그래서 무엇을 담을지 고르는 일이 공간의 크기만큼 중요하다고 강조합니다.

둘째, ‘컨텍스트 창에 넣은 내용은 AI가 영원히 배운다’는 오해입니다. 앞서 본 것처럼 컨텍스트 창은 학습한 자료와 다른 작업 메모리입니다. 책상 위 서류는 그 일을 하는 동안 펼쳐 둔 것일 뿐입니다.

지금 해 볼 것: 앞 내용을 잊은 것 같을 때

누군가 “컨텍스트가 넘쳤다”고 말한다면, 책상이 꽉 차 앞의 서류가 밀려났다는 뜻으로 들으면 됩니다. 쓰는 입장에서는 아래 순서로 해 보면 됩니다.

1. 처음에 정한 조건을 한두 줄로 다시 적어 줍니다. 예: “앞에서 말한 대로 표는 세 칸, 존댓말로 써 주세요.”
2. 긴 자료는 통째로 붙이기보다 지금 필요한 부분만 골라 넣습니다.
3. 주제가 바뀌었다면 지금까지 정한 내용을 짧게 정리해 달라고 한 뒤, 그 정리를 새 대화의 첫 메시지로 옮겨 갑니다.
4. 정리된 내용에서 처음 조건이 빠지지 않았는지 한 번 읽어 봅니다. 요약하는 과정에서 세세한 조건이 줄어들 수 있기 때문입니다.

💬 자주 묻는 질문

컨텍스트 윈도우 뜻을 한 줄로 말하면요?

AI가 답을 만들 때 한 번에 펼쳐 볼 수 있는 글의 범위입니다. 지난 대화와 붙여 넣은 자료, 질문, 그리고 AI가 쓰는 답까지 모두 이 안에 들어가고, 크기는 글자 수가 아니라 토큰 수로 잽니다.

챗GPT 대화가 길어지면 왜 앞 내용을 잊은 것처럼 보이나요?

서비스마다 관리하는 방식이 달라서, 정확한 방식은 쓰는 서비스의 공식 안내를 봐야 합니다. 다만 Anthropic과 Google 문서는 대화가 쌓여 한도에 가까워지면 오래된 메시지를 밀어내거나 요약하는 방법을 쓸 수 있다고 설명합니다. 중요한 조건은 다시 적어 주는 편이 안전합니다.

컨텍스트 윈도우 압축은 무엇인가요?

Anthropic 개발자용 문서에 소개된 기능으로, 대화의 앞부분을 자동으로 요약해 한도를 넘어서도 대화를 이어 가게 합니다. 편리하지만 세세한 조건이 요약 과정에서 줄어들 수 있습니다.