STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

pyrusmorph ускоряет морфологический разбор русского текста за счёт нативного ядра

Разработчик Python-обёртки pyrusmorph опубликовал сравнение с pymorphy3 на задаче лемматизации русского текста. В описанном автором тесте преимущество достигалось не новой языковой моделью, а обращением к словарным структурам библиотеки libmorph/rus на C++.

Главное

Задача морфологического анализатора — определить исходную форму слова и его грамматические характеристики. Для поиска, индексации и обработки больших русскоязычных коллекций такие операции повторяются многократно. Автор pyrusmorph рассматривает проблему затрат на объекты Python и выделение памяти при обработке каждого слова. Его альтернативный путь состоит в том, чтобы оставлять основную работу внутри давно развивающегося нативного ядра libmorph/rus.

В отличие от привычного для Python-разработчиков подхода с множеством промежуточных объектов, нативное ядро хранит словарь в компактных сериализованных радиксных деревьях и использует фиксированные рабочие буферы. Связующим слоем выступает pybind11: приложение по-прежнему вызывает методы из Python, но морфологический поиск выполняет C++-библиотека. Репозиторий libmorph открыт, а статья приводит пример интерфейсов для лемматизации, синтеза форм и эвристического анализа.

Подробности

Для измерения скорости автор взял заранее разбитый на слова русский текст и сравнил последовательную обработку кириллических токенов на одном процессорном ядре. В его таблице pymorphy3 затратил 13,7 секунды, а pyrusmorph — 0,5 секунды на один и тот же набор. Это результаты конкретного авторского теста, а не доказательство такого же выигрыша на любом корпусе, оборудовании или варианте морфологического анализа.

У ускорения есть важная оговорка: словари систем различаются, поэтому совпадение скорости ещё не означает идентичность результатов. По данным сравнения, pymorphy3 распознал немного больше слов, а списки пропусков и ошибочных гипотез не совпали. При выборе инструмента нужно проверять качество лемматизации на собственном языке запросов, именах, сокращениях и профессиональной терминологии. Быстрая обработка с потерей нужных форм может ухудшить полноту поиска.

Что это меняет

Практический вывод состоит не в универсальной замене одной библиотеки другой, а в необходимости измерять самый затратный этап конвейера отдельно. Если именно морфология ограничивает обработку документов, нативная реализация способна уменьшить задержки и давление на память. Если же больше времени занимают чтение данных, токенизация или сетевые запросы, заявленное преимущество почти не повлияет на общую скорость приложения. Исходный код и условия сравнения доступны для самостоятельной проверки.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗