STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Гибридный ИИ для корпоративных справочников: команда показала обработку НСИ на обычном сервере

Разработчики системы нормализации номенклатуры описали, как объединили локальные нейросети и проверяемые правила вместо универсальной LLM. По их собственным измерениям, такой конвейер достиг точности 98% и обрабатывает данные без мощного GPU-сервера.

Главное

Для корпоративного справочника мало распознать название товара: нужно определить его категорию, извлечь свойства и записать их в согласованном формате. Автор кейса описывает классификатор примерно из 1000 классов, где набор требуемых полей различается от группы к группе. Ошибка в одном параметре способна превратить одинаковые позиции в разные записи и исказить учёт запасов.

Первую версию решения строили на TF-IDF, SVM и наборах регулярных выражений для извлечения атрибутов. Правила было легко объяснять и быстро выполнять, но каждое новое написание характеристик требовало ручной доработки. По оценке команды, подготовка грамматики для одного класса занимала в среднем 4 дня, поэтому увеличение числа товарных групп делало поддержку системы всё дороже.

Подробности

Затем классификацию перевели на дообученную архитектуру BERT, извлечение фрагментов с характеристиками — на собственные локальные нейросети. Приведение найденных значений к словарному стандарту при этом оставили детерминированным правилам. Такой разделённый процесс позволяет статистической модели находить смысловые элементы, не предоставляя ей право самостоятельно менять бизнес-справочник.

Авторы также испытывали большие языковые модели как универсальный способ обходиться без предварительной разметки. На новых формулировках LLM действительно помогали распознавать смысл, но при проверке возникали выдуманные значения атрибутов и нестабильные ответы. По измерениям команды, обработка одной записи с LLM занимала около 3 секунд против приблизительно 100 миллисекунд у локального конвейера.

Что это меняет

Для нового класса инженеры собирают репрезентативные примеры и проверяют качество на отдельном наборе записей, после чего уточняют разметку или правила. Команда сообщает об итоговом среднем результате 98% на обработанных группах и о работе системы на CPU-машине с 8 ядрами и 16 ГБ оперативной памяти. В описанной архитектуре исходные справочники остаются внутри инфраструктуры заказчика.

Этот кейс не доказывает, что нейросети одного типа всегда превосходят другой: опубликованные показатели относятся к задаче и данным конкретной команды, без независимого сравнительного теста. Практический вывод более узкий и полезный: для справочников с жёсткими требованиями к качеству стоит разделять распознавание, нормализацию и контроль, а экономику решения оценивать вместе со стоимостью поддержки правил.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗