STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Nimbo: разработчик собрал голосовой сервис с ИИ и проверил его на утечки памяти

Автор открытого проекта Nimbo описал опыт создания сервиса голосовых комнат, чата и демонстрации экрана при помощи ИИ. За генерацией кода последовали проверки шумоподавления, расхода памяти и безопасности: именно они выявили самые важные ограничения первоначального решения.

Иллюстрация из открытой ленты Habr

Главное

Начальная идея Nimbo состояла в том, чтобы предоставить друзьям лёгкое приложение для разговоров во время игр. Разработчик сначала сделал прототип клиента на C++ и Qt, рассчитывая максимально контролировать потребление ресурсов. Для более быстрой работы над интерфейсом затем использовал Vue с TypeScript, серверную часть написал на Go, а функции передачи голоса, видео и экрана реализовал с помощью LiveKit. Такой выбор стека показывает, что даже при активном использовании генеративного ИИ архитектура остаётся отдельной инженерной задачей.

Вместо общей регистрации на сервере Nimbo хранит пользовательский профиль локально. В нём находятся имя, параметры приложения, список серверов и ключи доступа к ним. Для переноса на другое устройство предусмотрен файл с расширением .nimbo, который защищается паролем. Сам сервер пользователь может поднять самостоятельно, а участнику достаточно получить приглашение. Отсутствие центральной базы учётных записей повышает самостоятельность экземпляров, но переносит на их владельцев ответственность за развёртывание и обслуживание.

Подробности

В одном из самых подробных экспериментов автор сравнивал шумодавы RNNoise, Speex и GTCRN на разных записях резких бытовых звуков и речи. На выбранных образцах GTCRN лучше скрывал часть щелчков и хруст яблока, хотя обработка добавляла около 32 миллисекунд против примерно 21 миллисекунды у RNNoise. GTCRN стал режимом по умолчанию, а RNNoise остался альтернативой. Это результат испытаний конкретного проекта, который нельзя без дополнительных измерений переносить на любую акустику и оборудование.

Другая проблема возникла при многократном включении и отключении видеосвязи. После нескольких циклов выключенный поток оставлял в памяти компоненты кодирования, а частный рабочий набор Windows-клиента достигал 305,8 МБ. Автор исправил освобождение ресурсов и в том же сценарии получил 30,3 МБ. Проверка полезна для любого приложения со звуком и видео: после закрытия камеры, остановки экрана или паузы декодирования нужно наблюдать за реальным жизненным циклом компонентов, а не только за состоянием интерфейса.

Что это меняет

Автор не скрывает, что основную часть программного кода создавал ИИ, а продумывание поведения, запуск тестов и корректировка решений оставались за ним. При испытаниях безопасности он также обнаружил возможность перезаписи базы в одном из сценариев анонимного выхода, что подчёркивает необходимость отдельного аудита. Исходники сервера, веб-клиента и клиента для Windows доступны в публичном репозитории под лицензией MIT. История Nimbo — практический пример того, что сгенерированный код ещё не равен проверенному продукту.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗