STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Разработчик представил открытый голосовой переводчик для созвонов и трансляций

На Хабре представлен набор открытых инструментов для перевода речи в реальном времени. Автор описал библиотеку для работы со звуком и отдельное приложение, передающее перевод в текстовые и аудиоканалы. Решение проверяли не только на личных звонках, но и во время публичного выступления.

Главное

Началом проекта стала практическая задача: не терять смысл сказанного на иностранном языке во время удалённого разговора. Разработчик создал transono — библиотеку на Rust и вспомогательные приложения, которые работают с аудиопотоками. Идея заключается в том, чтобы включить перевод в уже привычную программу связи, а не заставлять собеседников переходить в отдельный сервис.

Для двустороннего режима система создаёт виртуальные звуковые устройства. В настройках приложения для звонков можно выбрать эти устройства как вход и выход, после чего переводчик получает подходящие потоки и возвращает обработанную речь. Параллельно на экране показываются исходное распознавание и перевод, благодаря чему пользователь может заметить ошибки ещё до ответа собеседнику.

Подробности

Автор отдельно представил AI-translator — приложение с открытым исходным кодом, которое соединяет источники речи и текстовые приёмники с моделью перевода. В текущем варианте используется интерфейс OpenAI, а поддержка других поставщиков указана как направление развития. Это существенное ограничение: набор возможностей и затраты будут зависеть от подключённой модели и её условий.

В опубликованных сборках предусмотрены варианты для Linux, Windows и компьютеров Mac на архитектуре ARM. Переведённый текст можно отправлять в консоль, дополняемый файл субтитров SRT, WebSocket или канал Telegram. Голосовой результат выводится на выбранное аудиоустройство либо в трансляцию канала. Такая схема позволяет использовать один переводящий процесс для разных форматов показа.

Что это меняет

Автор сообщил об испытании инструмента на фестивале: поток перевода выводился зрителям на большой экран, а данные WebSocket применялись для субтитров видеотрансляции. По его словам, около 8 часов работы обошлись примерно в 20 долларов расходов на модель. Это описание отдельного опыта, а не универсальный тариф или подтверждённая стоимость каждого сценария использования.

Для внедрения подобных решений важны качество микрофонов, задержка сети, обработка нескольких голосов и возможность исправить некорректно распознанную фразу. Открытый код облегчает изучение интеграции, но сам по себе не гарантирует стабильность на любой площадке. Сейчас проект выглядит как рабочая основа для экспериментов с доступным синхронным переводом и гибкой маршрутизацией субтитров.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗