Коротко: Контекстное окно — объём текста, который модель «видит» одновременно: вопрос, инструкции, документы. Всё, что не влезло, для модели не существует. Отсюда практическое правило: не скармливайте боту всю базу целиком — сначала поиск нужных фрагментов (RAG), потом ответ.
Почему «влезает 200 страниц» не значит «понимает 200 страниц»
С ростом окна модели начинают «терять середину»: начало и конец помнят отлично, середину — так себе. Плюс каждое окно оплачивается токенами: пихать всю базу в каждый вопрос — жечь бюджет на информацию, которая к вопросу отношения не имеет.
Как это решается в рабочих ботах
- Поиск по базе отбирает 3–10 релевантных фрагментов.
- В окно попадают вопрос + инструкция + только эти фрагменты.
- Ответ короче, точнее и дешевле в разы.
Практический вывод для бизнеса
Маркетинговое «у нашей модели миллион токенов контекста» — не аргумент в выборе. Аргументы: качество ответов на ваших вопросах, цена одного вопроса, задержка. Именно их я и меряю на пилоте.
Что именно занимает место в окне
Окно не равно «длине вопроса». В нём одновременно лежит всё, что модель получает в одном запросе:
- Системные инструкции: роль, тон, запреты (системный промпт).
- История диалога: предыдущие вопросы и ответы, чтобы бот помнил контекст.
- Подмешанные документы: найденные фрагменты базы знаний.
- Вопрос клиента.
- Место под ответ. Окно общее для входа и выхода: если вход занял почти всё, на ответ остаётся мало.
Поэтому длинный диалог с большим набором документов упирается в лимит раньше, чем кажется. Система должна управлять этим сама: сжимать историю, выбирать только нужные фрагменты, не дублировать инструкции.
Что происходит, когда окно переполнено
Есть три сценария, и надёжный бот проектируется под каждый.
- Старое отбрасывается. Бот «забывает» начало разговора. Клиент уже назвал номер заказа, а бот спрашивает его снова.
- История сжимается. Предыдущие реплики заменяются краткой выжимкой. Экономит место, но детали могут потеряться.
- Запрос отклоняется. Модель возвращает ошибку. Пользователь видит сбой вместо ответа.
В рабочих ботах важные данные (имя, номер заказа, суть обращения) выносятся из диалога в отдельную память и подставляются в каждый запрос коротко. Так бот не «забывает» главное, даже если разговор длинный.
Как окно влияет на цену и скорость
Оплата за обращение к модели считается по токенам, то есть по объёму текста во входе и выходе (как это считается). Чем больше окно заполнено, тем дороже запрос и тем дольше модель отвечает: это одна из причин задержек, о которых написано в статье инференс и латентность. Поэтому грамотная система отправляет модели минимум: три-пять нужных фрагментов вместо всей базы.
Когда большое окно действительно нужно
- Анализ одного длинного документа целиком: договора, отчёта, стенограммы звонка.
- Сравнение нескольких документов между собой.
- Задачи, где важен связный контекст всего текста, а не отдельные факты.
Для ответов клиентам по базе знаний большое окно обычно не нужно: решает поиск по базе (RAG) и аккуратные инструкции.
Частые вопросы
Сколько это примерно в страницах?
Модели живут от десятков до сотен страниц текста. Цифры быстро меняются — проверяйте на момент выбора, а не по статье двухлетней давности.
Можно ли просто купить модель с самым большим окном?
Можно, но это самый дорогой способ решить задачу, которая решается поиском по базе за копейки.
Куда девается история переписки?
Окно ограничено и историей диалога: старые ходы сжимаются или отбрасываются. Для ботов это проектируется: что помнить, а что выгружать в CRM.
Как проверить, что бот не теряет контекст в длинном диалоге?
Проведите тестовый разговор из 15–20 реплик, где в начале назвать важные данные (имя, номер заказа), а в конце спросить о них. Если бот путается, нужна память для ключевых данных, а не просто «большая модель».
Одинаковое ли окно у разных моделей?
Нет, и значения меняются от версии к версии. Поэтому при выборе смотрите актуальные характеристики на момент проекта и тестируйте на своих данных, а не ориентируйтесь на цифры из рекламы.
Что делать дальше
Полезные страницы: ИИ-чат-бот для сайта · Токены и их цена.
Цены и сроки — в общем прайсе. Сложно выбрать — напишите в Telegram @darulev, отвечу лично.
