Короткий ответ: эффект ИИ замеряется тремя группами цифр: время на процесс до и после, деньги (часы, умноженные на стоимость часа, и прирост конверсии) и качество (ошибки, переделки). Главное правило: замер «до» делается до пилота, на реальных данных, а не по памяти. Без него через полгода вы будете спорить ощущениями. Пилот должен заканчиваться отчётом «было и стало» в часах и рублях.
Внедрение ИИ часто оценивают по впечатлению: «стало быстрее», «вроде удобнее». Такая оценка не помогает принять решение о масштабировании и не защищает проект перед руководством. Ниже методика, которую можно применить к любому процессу.
Что замерять
| Группа | Метрики | Как измерять |
|---|---|---|
| Время | минуты от входа до результата, время первого ответа клиенту | выборка 20–50 случаев, по журналу или трекеру |
| Деньги | часы × стоимость часа, цена заявки, конверсия в сделку | по данным CRM и учёта |
| Качество | доля ошибок, переделок, жалоб, возвратов | выборочная проверка, статистика обращений |
| Нагрузка | количество операций на сотрудника, очередь, просрочки | отчёты систем |
| Удовлетворённость | оценки клиентов, отзывы, NPS | опросы и обращения |
Автоматизация, которая ускорила процесс, но вырастила брак, — минус. Поэтому качество замеряется всегда вместе со скоростью.
Как замерять честно
- Трекер на неделю до пилота. Простая таблица, где сотрудник отмечает время на задачу. Память занижает или завышает время в разы, поэтому опрос не заменяет замер.
- Пилот параллельно с ручным процессом. Часть случаев идёт через ИИ, часть по-старому, на одних и тех же живых данных.
- Фиксированный набор тестов. Одинаковые вопросы или документы до и после, чтобы результаты были сопоставимы.
- Период наблюдения. Через 2–4 недели работы: раньше виден эффект новизны, позже сложно вспомнить, как было.
- Независимая проверка. Итоговые цифры лучше проверяет ваш аналитик или руководитель процесса, а не подрядчик.
Как перевести время в деньги
Экономия в месяц = (минуты до − минуты после) × количество операций × стоимость минуты
Стоимость часа берётся как полная стоимость сотрудника с налогами и рабочим местом, а не как зарплата, делённая на рабочие дни. Подробный разбор формулы и примеры расчёта в статье как посчитать окупаемость ИИ. Важно не считать освободившиеся часы деньгами автоматически: деньги появляются, когда эти часы уходят на рост (больше клиентов, больше продаж) или когда сокращаются реальные расходы на сверхурочные и подработку.
Где эффект не в часах
- Ночные заявки. Бот отвечает в три ночи, когда менеджер спит: конверсия растёт без участия человека.
- Скорость ответа. Лид остывает быстро, быстрый ответ повышает шанс сделки.
- Качество решений. Руководитель видит сводку и реагирует вовремя (ИИ-дайджест).
- Снижение потерь. Меньше потерянных заявок и просроченных счетов.
Такие эффекты часто больше экономии часов, но ловятся только замером конверсии и потерь до и после.
Типичные ошибки замера
- Замерять «до» по памяти. Результат сильно искажён.
- Сравнивать разные периоды без учёта сезонности. Лучше параллельный контроль.
- Считать только часы, игнорируя качество и конверсию.
- Не учитывать затраты на сопровождение. Обновление базы и мониторинг тоже стоят денег.
- Делать выводы по первой неделе. Система и люди ещё настраиваются.
Шаблон отчёта по пилоту
| Показатель | До | После | Изменение |
|---|---|---|---|
| Время на операцию, мин | |||
| Операций в месяц | |||
| Доля ошибок, % | |||
| Время первого ответа | |||
| Конверсия, % | |||
| Затраты на сопровождение в месяц | |||
| Экономия в месяц, ₽ |
Часто задают вопросы
Что если сотрудники занижают время «до»?
Обычно занижают добровольно: «у нас и так всё быстро». Поэтому используют трекер, а не опрос, и сравнивают с данными систем.
Через сколько после запуска замерять «после»?
Через 2–4 недели работы. Раньше это эффект новизны, позже сложнее восстановить исходное состояние.
Кто должен считать эффект?
Лучше вы или ваш аналитик, а подрядчик помогает методикой. Независимая проверка надёжнее любых заверений.
Как быть, если эффект меньше ожидаемого?
Это нормальный и полезный результат пилота. Разберите причины: данные, сценарий, процесс. Возможно, нужно улучшить базу знаний или выбрать другой процесс (ошибки внедрения ИИ).
Хотите внедрять ИИ с цифрами «до и после»? ИИ-аудит от 30 000 ₽ включает замер и оценку эффекта, либо опишите задачу в чате.
