Коротко: Токен — это кусочек текста, на который модель режет всё: примерно 2–3 символа русского текста. API-платежи считаются в токенах: за то, что отправили модели, и за то, что она ответила. Типовой вопрос клиента с ответом стоит сотые доли копейки до пары копеек — месячный бюджет бота обычно меньше обеда менеджера.
Как считается цена
У каждой модели два тарифа: входные токены (ваш вопрос + инструкции + найденные документы) и выходные (ответ). Выходные в 3–5 раз дороже входных. Поэтому длина системного промпта и объём подмешанной базы напрямую влияют на счёт: RAG с подбором 5 фрагментов в разы дешевле «зальём всё в контекст».
Пример расчёта
Вопрос клиента: ~50 токенов. Инструкция и фрагменты: ~800. Ответ: ~200. Итого ~1050 токенов, из них выходных 200. При типовых тарифах такой вопрос стоит от сотых долей до пары копеек. Тысяча диалогов в день — рубли, не тысячи рублей. Расходы растут только при огромных контекстах и длинных ответах.
Как не переплачивать
- Не пихать в промпт всю базу — искать только нужное.
- Ограничивать длину ответа там, где клиенту нужен факт, а не эссе.
- Кэшировать повторяющиеся вопросы: одинаковые вопросы не должны считаться каждый раз заново.
- Логировать расход по дням: аномалия видна сразу.
Из чего складывается счёт за ИИ-бота
Токены это только одна строка в расходах. Полная картина по боту для малого бизнеса выглядит так:
| Статья расходов | Характер | От чего зависит |
|---|---|---|
| Разработка и настройка бота | разово | каналы, интеграции, база знаний (цены на чат-бота) |
| Токены языковой модели | по факту использования | число диалогов, длина вопросов и ответов, объём подмешиваемых документов |
| Эмбеддинги базы знаний | разово и при обновлениях | объём документов (про эмбеддинги) |
| Сервер и хранилище | ежемесячно | нагрузка и объём базы |
| Сопровождение | ежемесячно | обновление базы, разбор диалогов, правки сценариев |
Для типового бота малого бизнеса именно разработка и сопровождение составляют основную часть бюджета, а токены остаются небольшой статьёй. Но они могут вырасти неожиданно, если система спроектирована небрежно.
Где токены расходуются зря
- Длинные инструкции в каждом запросе. Системный промпт на три страницы оплачивается при каждом сообщении. Его стоит сжимать и убирать из него справочные данные, которые лучше брать из базы.
- Вся база вместо найденных фрагментов. Типичная ошибка новичков, которая увеличивает счёт в десятки раз.
- Бесконечная история диалога. Каждая реплика пересылается заново. Историю нужно сжимать и ограничивать.
- Длинные ответы там, где нужен факт. Выходные токены дороже входных, поэтому формат ответа ограничивается в инструкции.
- Повторные одинаковые вопросы. Частые вопросы кэшируются и обслуживаются без обращения к модели.
- Зацикливание агентов. Ошибка в сценарии заставляет систему многократно звать модель. Нужны лимиты на число шагов (про агентов).
Как контролировать расход
- Установить дневной и месячный лимит на стороне провайдера и в коде бота.
- Логировать расход по каждому диалогу, а не только суммарно: так видно «дорогие» сценарии.
- Настроить уведомление при превышении порога, например в Telegram.
- Раз в месяц разбирать самые дорогие диалоги и оптимизировать инструкции.
- Проверять расход при каждом изменении сценария, а не только при запуске.
Заказчик должен получить доступ к панели провайдера или отчёту по расходам. Если подрядчик скрывает эти цифры, это повод насторожиться. Принципы проверки исполнителя — в статье как выбрать подрядчика по ИИ.
Частые вопросы
Насколько это дороже сотрудника?
Несопоставимо: месяц API-платежей бота обычно дешевле часа работы того же сотрудника, разгребающего типовые вопросы.
Токены считаются по-русски так же?
Механизм тот же, но русский «дороже» английского: те же 10 слов занимают больше токенов. На бюджет закладывайте запас ×1,5–2 для русского.
Можно ли зафиксировать бюджет?
Да: лимиты по дням и по диалогу ставятся в коде, при превышении бот переключается на «оставьте контакты — ответит человек».
Что выгоднее: платить за токены или поставить свою модель?
Для малого объёма почти всегда выгоднее токены по API: свой сервер с моделью стоит ощутимых денег независимо от нагрузки. Свою модель имеет смысл рассматривать при очень большом объёме диалогов или жёстких требованиях к хранению данных (локальная или облачная модель).
Как заранее оценить расход токенов бота?
Умножьте число диалогов в месяц на среднее число сообщений и на средний размер запроса с подмешанными документами. Точнее расход показывает пилот: две-три недели работы на реальных вопросах дают цифры, которые можно масштабировать.
Что делать дальше
Полезные страницы: ИИ-чат-бот под ключ · Сколько стоит чат-бот.
Цены и сроки — в общем прайсе. Сложно выбрать — напишите в Telegram @darulev, отвечу лично.
