RuBERT с графом знаний: предложен новый подход к классификации научных работ
Автор технического материала на Хабре предлагает объединять текстовые признаки RuBERT с заранее подготовленными векторами научных понятий. Этот подход должен дополнять статистику языка явными связями между терминами, но экспериментального доказательства превосходства архитектуры пока нет.
Главное
Задача тематической классификации научных публикаций осложняется узкими терминами и междисциплинарными понятиями. Модель языка может обнаруживать контекстные связи, однако не обязана хранить в явном виде иерархию научных концепций. Предложенная архитектура использует граф знаний как отдельный источник сведений: его узлы представляют понятия, а связи задают отношения между ними. Полученные данные затем используются совместно с текстовым представлением документа.
Текстовый поток построен вокруг RuBERT, который преобразует документ в контекстное векторное представление. Параллельно выделяются именованные научные сущности, а механизм связывания ищет соответствующие вершины графа. Важная особенность — графовые векторы предлагается вычислить заранее и извлекать при обработке документа. Поэтому нет необходимости встроить дополнительные графовые токены непосредственно в последовательность для трансформера.
Подробности
В статье рассмотрены TransE, RotatE и node2vec как варианты построения векторов для узлов графа. Они по-разному учитывают структуру связей и близость понятий. Представления найденных сущностей объединяются в общий графовый признак, который добавляется к выходу RuBERT перед классификатором MLP. Таким образом, изменение касается этапа объединения признаков, а не базового механизма внимания языковой модели.
У предлагаемого решения остаются технические риски. Если система неверно сопоставит термин с узлом графа, дополнительные признаки могут навредить итоговому решению. Если в словаре не окажется нужного понятия, полезность графового потока также снизится. Для научных корпусов с неоднородной терминологией качество распознавания сущностей и полнота графа необходимо проверять отдельно, а не считать гарантированными свойствами архитектуры.
Что это меняет
Автор предлагает оценивать подход на размеченных научных документах, сравнивая его с исходным RuBERT и более простыми классификаторами. Среди показателей названы Macro F1, учитывающая качество на малочисленных категориях, и скорость обработки. До появления таких измерений корректно описывать работу как архитектурное предложение, а не как подтверждённое ускорение или рост точности. Практический интерес заключается в возможности проверять вклад структурированных знаний отдельно от языковой модели.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.