Откуда берутся ошибки Auto-Tune: анализ периода, гармоники и плавная коррекция голоса
Инженерный разбор на Хабре показывает, почему корректировка высоты голоса требует не только выбора музыкальной ноты. Алгоритмы должны отличать основной тон от ярких гармоник, учитывать соседние фрагменты записи и изменять скорость воспроизведения без заметных разрывов.
Главное
Проблема начинается ещё до самой коррекции. У звучащего голоса есть основная частота и гармоники, причём самая сильная спектральная составляющая не обязательно соответствует воспринимаемой высоте. Автор разбирает пример, в котором основной тон равен 220 Гц, а вторая гармоника на 440 Гц заметнее на спектре. Если ориентироваться только на максимальный пик, система может принять гармонику за ноту исполнителя и на короткое время сдвинуть результат на октаву.
В рассматриваемых реализациях используются разные способы повысить устойчивость оценки. Поиск периода допускает сравнение текущего участка сигнала с его смещённой копией и уточнение найденного минимума между дискретными отсчётами. Для модуля Pitch в Nectar 4 автор описывает анализ нескольких возможных частот и последующий выбор согласованной последовательности. Такой подход помогает отсеивать одиночные скачки, которые выглядят неправдоподобно на фоне соседних фрагментов вокальной партии.
Подробности
После оценки высоты система должна решить, куда именно перемещать звук. Список разрешённых нот зависит от заданной гаммы и музыкальной задачи, поэтому даже идеально распознанная частота может быть направлена не туда, если пользователь выбрал неверную шкалу. В материале приведён пример перехода от 430 Гц к ближайшей ноте 440 Гц. Коррекция измеряется отношением частот, а не простым прибавлением фиксированного числа герц, поскольку музыкальные интервалы воспринимаются логарифмически.
Затем возникает отдельная задача синтеза. Для изменения высоты требуется считывать звуковой материал с нужной скоростью и сглаживать переходы между участками. Дробные позиции чтения и интерполяционные фильтры позволяют избежать грубого переключения между соседними сэмплами. Однако на слух влияют не только точность вычисления ноты, но и то, как алгоритм сохраняет непрерывность волны, обращается с её фазой и удерживает тембр при движении к целевому звучанию.
Что это меняет
Низкая задержка также не означает отсутствие внутренней истории. При небольших буферах для обработки одного фрагмента может не хватить даже полного периода низкого звука, и алгоритму приходится переносить состояние между вызовами. Автор отдельно рассматривает компромисс между быстрым откликом и качеством: чрезмерно резкая настройка коррекции подчёркивает ошибки детектора и создаёт характерный искусственный эффект. Материал полезен разработчикам аудиоплагинов тем, что разделяет распознавание тона, принятие музыкального решения и формирование выходного сигнала.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.