Коротко: Правило простое: если данные можно анонимизировать — берите облако, оно умнее и дешевле на старте. Если персональные данные и коммерческие тайны уходить наружу не могут — локальная LLM в вашем контуре. Гибрид закрывает 90% споров: чувствительное в контуре, остальное в облако.
Сравнение честно
| Критерий | Облачный API | Локальная LLM |
|---|---|---|
| Качество ответов | топовые модели | позже топа на полшага-шаг |
| Старт | ключ и настройки, день | GPU-сервер + развёртывание |
| Платежи | за токены | за железо, разово |
| Данные | уходят к провайдеру модели | не покидают контур |
| Потолок нагрузки | эластично | упирается в GPU |
Сколько стоит свой контур
Аренда GPU-сервера для рабочих открытых моделей — от 15–40 тыс. ₽/мес в зависимости от размера модели и нагрузки. Плюс развёртывание и обслуживание. Окупается это при стабильном объёме запросов или жёстких требованиях к данным, а не «на всякий случай».
Гибрид — рабочий дефолт
Схема: персональные данные маскируются или обрабатываются локальной моделью, общий контекст — облачной. Клиент получает качество облака, юрист — спокойствие. На пилоте показываю оба варианта на ваших реальных вопросах, решение — по цифрам.
Какие данные нельзя отправлять в облако
Прежде чем сравнивать цены и качество, определите, что именно будет проходить через модель. Это решающий фактор.
- Персональные данные клиентов и сотрудников: имена, телефоны, адреса, паспортные данные, медицинская информация. Правила их обработки определяет 152-ФЗ (ИИ и 152-ФЗ).
- Коммерческая тайна: условия договоров с клиентами, внутренние расчёты, закупочные цены.
- Данные с отраслевыми ограничениями: медицина, финансы, госзаказчики.
- Любые данные, которые договор с заказчиком запрещает передавать третьим лицам.
Если ничего из перечисленного в запросах нет, облачная модель обычно подходит лучше. Если есть, нужен либо локальный контур, либо маскирование данных до отправки.
Решение за четыре шага
- Классифицируйте данные. Что будет в запросах: публичное, внутреннее, персональное, секретное.
- Оцените объём. Сколько запросов в день и какой длины. Для малых объёмов облачный API дешевле своего сервера.
- Проверьте качество на своих задачах. Прогоните 30–50 реальных вопросов через облачную и локальную модели. Разница в качестве на ваших данных нередко меньше, чем на публичных тестах.
- Решите по цифрам: качество, цена, риски. Гибридная схема (чувствительное локально, остальное в облаке) часто оказывается оптимальной.
Скрытые расходы локальной модели
- Сервер с GPU: аренда или покупка, плюс электричество и охлаждение при собственном железе.
- Развёртывание и настройка: первичный запуск, оптимизация скорости, мониторинг.
- Обновления моделей: новые версии выходят часто, их нужно тестировать и выкатывать.
- Резервирование: один сервер означает единую точку отказа.
- Специалист на поддержке: кто-то должен отвечать за контур.
Для компаний с небольшим объёмом запросов эти расходы чаще не оправдываются. Подробнее о том, как считается экономика ответов, в статье токены и стоимость вопроса, а о практическом варианте с вашим контуром — на странице «ИИ-сайты и приложения».
Частые вопросы
Локальные модели совсем глупые?
Открытые модели последних поколений догнали облачные на типовых задачах. На сложных рассуждениях топ-облако всё ещё впереди. Проверяется на ваших вопросах, а не на бенчмарках.
Нужен ли свой GPU-сервер в офисе?
Не обязательно: аренда GPU в дата-центре в РФ закрывает и 152-ФЗ, и надёжность. Офисное железо — вариант для экспериментов.
Что с 152-ФЗ при облаке?
Персональные данные в промпт не отправляются: маскируются или обрабатываются в контуре. Это правило проектируется в бот с первого дня.
Можно ли начать с облака и перейти на локальную модель позже?
Да, если архитектура не привязана к одной модели. Хорошо спроектированный бот меняет «мозги» заменой одного модуля, а база знаний и сценарии остаются. Поэтому на старте разумно выбрать облако, а перейти в контур при росте объёма или новых требованиях.
Что такое маскирование персональных данных?
Перед отправкой в облачную модель имена, телефоны и другие идентификаторы заменяются метками, а в ответе подставляются обратно. Модель видит «Клиент А позвонил по номеру Т», реальные данные остаются у вас. Это снижает риски, но требует аккуратной реализации и тестов.
Что делать дальше
Полезные страницы: Локальные LLM: как это устроено · RAG под ключ · ИИ и 152-ФЗ.
Цены и сроки — в общем прайсе. Сложно выбрать — напишите в Telegram @darulev, отвечу лично.
