Короткий ответ: локальная LLM — это языковая модель, которая запускается на вашем сервере или арендованном оборудовании в России и не отправляет запросы внешним провайдерам. Она нужна, когда в запросах есть персональные данные, коммерческая тайна или документы, которые нельзя отдавать наружу. Платите вы за оборудование и сопровождение, получаете контроль над данными и предсказуемую стоимость, но качество на сложных задачах у лучших облачных моделей пока выше.
Большинство компаний знакомятся с нейросетями через облачные сервисы: открыл чат, вставил текст, получил ответ. Для публичных данных это удобно. Для договоров, клиентских баз, переписки и внутренних регламентов нет: данные уходят провайдеру, а он размещается вне вашего контроля. Локальная LLM решает эту проблему. Ниже разбираю, как она устроена, что нужно для запуска и когда она действительно оправдана. Юридический контекст описан в статье ИИ и 152-ФЗ.
Когда локальная модель нужна
- Персональные данные. Клиентская переписка, заявки, документы, записи разговоров. Локальный режим исключает передачу третьим лицам и вопросы трансграничной передачи.
- Коммерческая тайна. Договоры, цены, условия, внутренние регламенты, исходный код.
- Высокие объёмы. Когда запросов очень много, стоимость облачных API может превысить стоимость собственного сервера.
- Работа без интернета. Закрытый контур, производство, объекты с ограниченным доступом.
- Требования заказчика или регулятора. Некоторые компании и ведомства запрещают передачу данных во внешние сервисы.
Что нужно для запуска
Оборудование
Главный ресурс — память видеокарты. Чем больше модель, тем больше памяти нужно. Приблизительные ориентиры для моделей с квантизацией (сжатием), которые обычно используют на практике:
| Размер модели | Примерно памяти видеокарты | Для чего хватает |
|---|---|---|
| 7–8 млрд параметров | 8–12 ГБ | простые ответы, классификация, извлечение данных |
| 13–14 млрд | 16 ГБ | чат-боты по базе знаний, резюмирование |
| 30–35 млрд | 24–48 ГБ | более сложные рассуждения, анализ документов |
| 70 млрд и больше | 48–80 ГБ и выше | задачи, близкие к облачным моделям, нужен серьёзный сервер |
Цифры ориентировочные и зависят от формата модели и длины контекста. Для пилота часто достаточно аренды сервера с видеокартой в российском дата-центре: покупать оборудование нужно только после подтверждения эффекта.
Модели
Существует несколько семейств открытых моделей с хорошей поддержкой русского языка и разными лицензиями: Qwen, Llama, Mistral, Gemma, DeepSeek и другие. Выбор зависит от задачи, языка, объёма памяти и условий лицензии (для коммерческого использования их нужно проверять). Список быстро меняется, поэтому модель подбирают под задачу и тестируют на ваших примерах, а не по рейтингам.
Инструменты запуска
- Ollama и llama.cpp — простой запуск, подходят для пилотов и небольших нагрузок.
- vLLM и аналогичные серверы — высокая производительность и параллельные запросы для рабочей нагрузки.
- Интерфейс и API. Модель подключается к вашим системам через API, совместимый с популярными форматами, поэтому её можно менять без переписывания всего решения.
База знаний (RAG)
Сама модель не знает вашу компанию. Чтобы она отвечала по вашим документам, подключают поиск по базе знаний: система находит нужные фрагменты и подставляет их в запрос. Это называется RAG, подробности в разделе ИИ-бот по базе знаний и в статье как подготовить документы. Всё хранится и работает внутри контура.
Локальная модель или облачная
| Критерий | Локальная | Облачная |
|---|---|---|
| Приватность | данные не покидают контур | зависит от договора и настроек провайдера |
| Качество на сложных задачах | ниже у лучших облачных моделей | максимальное |
| Стоимость при малых объёмах | выше (сервер и сопровождение) | ниже (оплата за запросы) |
| Стоимость при больших объёмах | предсказуемая, часто ниже | растёт вместе с нагрузкой |
| Запуск | нужна инфраструктура и настройка | подключение за часы |
| Зависимость | от вашего оборудования | от провайдера, тарифов и доступности |
| Работа офлайн | возможна | невозможна |
Когда облако безопаснее и выгоднее
Локальная модель не панацея. Если данные не содержат персональной информации, а запросов немного, облачный сервис проще и дешевле. Если нужна максимальная точность на сложных задачах, облачные модели пока сильнее. Часто лучше всего работает гибрид: чувствительные запросы обрабатывает локальная модель, а публичные и сложные уходят в облако. Либо облачная модель получает только обезличенный текст (режим описан в статье про 152-ФЗ).
Типичные ошибки при запуске
- Взять слишком маленькую модель. Дешёвое железо и 7B-модель на сложной задаче дают плохие ответы, и вывод «локальные модели не работают» неверен.
- Не проверить лицензию. Не каждая открытая модель разрешена для коммерческого использования без условий.
- Забыть о безопасности сервера. Локальная модель защищает от внешнего провайдера, но не от неправильных доступов внутри компании. Нужны права, журнал, обновления.
- Не готовить данные. Хорошая модель с плохой базой знаний отвечает плохо.
- Не предусмотреть сопровождение. Модели, библиотеки и драйверы обновляются, база знаний устаревает.
Как проходит внедрение
- Аудит и схема данных. Какие задачи и данные, какой режим нужен.
- Тест моделей. Проверяем несколько вариантов на ваших примерах и выбираем по качеству и скорости.
- Пилот. Запуск на арендованном сервере в России, чтобы не покупать оборудование раньше времени.
- Интеграция. Подключение к сайту, CRM, мессенджеру, документам.
- Сопровождение. Мониторинг, обновления, пополнение базы знаний.
Цены проектов описаны на странице «Цены», сопровождение — в формате «Присмотр».
Часто задают вопросы
Дорого ли держать локальную модель?
Зависит от размера модели и нагрузки. Для пилота можно арендовать сервер с видеокартой в российском дата-центре и платить помесячно. Покупка оборудования оправдана после подтверждения эффекта и при большом объёме запросов.
Хорошо ли локальные модели понимают русский?
Современные открытые модели средних и больших размеров справляются с русским языком достойно, но качество зависит от модели и задачи. Поэтому выбор делают по тесту на ваших текстах.
Можно ли дообучить локальную модель на моих данных?
Можно, но в большинстве бизнес-задач достаточно RAG: подключить базу знаний, а не переобучать модель. Дообучение нужно реже и стоит дороже.
Безопасно ли это с точки зрения 152-ФЗ?
Локальный режим снимает вопросы передачи данных внешнему провайдеру и трансграничной передачи. Остальные обязанности оператора (согласия, политика, журнал) остаются и описаны в статье ИИ и 152-ФЗ.
Нужен ИИ, который не выпускает данные из компании? Опишите задачу в чате, я предложу схему и оценку, или начните с ИИ-аудита от 30 000 ₽.
