Nvidia открыла Nemotron 3.5 Transcribe: распознавание речи и перевод на разных языках
Nvidia представила модель Nemotron 3.5 Transcribe с открытыми весами для обработки записанной речи. Она объединяет расшифровку аудио, определение говорящих, перевод и ответы на вопросы о записи; распознавание поддерживает 40 языков, включая русский.
Главное
Новая модель ориентирована на разработчиков приложений, которым нужно извлекать сведения из аудиозаписей без сборки отдельных систем для каждой операции. В одном запросе можно попросить расшифровать разговор, разделить реплики по собеседникам или сформулировать его итоги. Nvidia подчёркивает, что управление задачей выполняется текстовой инструкцией, а не переключением между независимыми распознавателями.
Поддержка языков различается по видам обработки. По данным анонса, распознавание доступно для 40 языков, перевод работает с 31 языком в связке с английским, а идентификация говорящих поддерживается для 13 языков. Поэтому при проектировании многоязычного сервиса важно проверять не только наличие языка в общем списке, но и конкретную нужную функцию.
Подробности
Модель рассчитана на записанное аудио: заявлена обработка файлов продолжительностью до часа. Это подходит для разбора встреч, интервью и служебных разговоров, когда запись уже завершена. Такой режим не следует путать с системой потокового распознавания с минимальной задержкой: способность работать с длинным файлом сама по себе не подтверждает поддержку прямого эфира.
Открытые веса позволяют разработчику выбирать среду исполнения и при необходимости сохранять обработку данных на собственной инфраструктуре. Nvidia сообщает о доступности модели на Hugging Face, а также описывает варианты локального запуска на своих вычислительных устройствах. Реальные требования к памяти и скорости зависят от конфигурации, формата весов и используемой реализации.
Что это меняет
Вместе с моделью компания рассказала о развитии набора данных Granary и инструментов для адаптации распознавания под профессиональную терминологию. Это существенно для проектов с собственными названиями, техническими сокращениями и смешением языков. Однако точность на конкретных записях необходимо измерять отдельно: результаты публичных тестов не гарантируют одинакового качества во всех условиях.
Для интеграторов главное изменение состоит в объединении последовательных речевых операций в общий управляемый процесс. При испытаниях стоит оценить ошибки распознавания, корректность разделения говорящих, качество перевода и условия лицензии весов. Для сценариев с чувствительной информацией особенно важны выбранное место обработки записей и возможность контролировать их хранение после анализа.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации 3DNews. Текст и иллюстрации первоисточника не воспроизводятся целиком.