Локальные ИИ-модели для производственной площадки
Внедрили и обучили языковые модели двух типов: чат-боты для общения с клиентами и внутренний помощник, который снимает с сотрудников рутину. Модели развёрнуты на инфраструктуре компании.
Задача
Часть повседневной работы уходила на однотипные ответы клиентам и на поиск информации внутри компании. Отдавать переписку и внутренние документы во внешние сервисы компания не готова.
Однотипные обращения клиентов отнимают время
Поиск информации внутри компании занимает долго
Данные не должны покидать периметр компании
Решение
Развернули два контура локальных моделей и обучили их на материалах компании. Ничего не уходит во внешние сервисы: модели работают на своём железе.
Клиентский контур: чат-боты отвечают на типовые обращения
Внутренний контур: помощник для повседневных задач сотрудников
Обучение моделей на документах и процессах компании
Развёртывание на инфраструктуре компании, без внешних API
Стек и инструменты
Локальные LLMSelf-hostedDockerОбучение на данных компанииИнтеграция с внутренними системами
Результат
2
контура моделей: клиентский и внутренний
100%
локально: данные не покидают периметр компании
0
внешних API в контуре обработки данных