Эмуляция звука Game Boy: почему точных таймеров недостаточно
Автор эмулятора Game Boy на C++ разобрался, почему работающие процессор и графика ещё не гарантируют правильную музыку. Для реалистичного звучания понадобились корректные генераторы каналов, обработка постоянной составляющей, качественное изменение частоты дискретизации и контроль буферов.
Главное
После реализации CPU и графического блока PPU разработчик занялся звуковым устройством APU. В отличие от обычного проигрывателя записей, здесь звук собирается из нескольких аппаратных генераторов, состояние которых зависит от таймеров и регистров консоли. Два канала производят прямоугольные импульсы, отдельный канал читает программируемую волну, а шумовой канал использует сдвиговый регистр с обратной связью.
Нужно воспроизводить не только высоту нот, но и изменение громкости, длительность сигнала и особенности цифрового преобразователя. Прямое сопоставление аппаратного уровня с привычной звуковой шкалой оставляло постоянное смещение и приводило к щелчкам при переключении каналов. В эмуляторе автор применил фильтр, удаляющий постоянную составляющую, чтобы передавать в аудиосистему преимущественно полезные колебания.
Подробности
Следующая проблема связана с тем, что звуковое устройство консоли работает по тактам процессора, а компьютерная аудиосистема принимает отсчёты с другой частотой. Наивный выбор ближайшего отсчёта искажает форму волн и переносит лишнюю высокочастотную энергию в слышимую область. Даже если мелодию можно узнать, в ней появляются писк и треск, поэтому совпадения средней частоты недостаточно для качественной эмуляции.
Автор сравнил такой простой способ с поэтапной фильтрацией и ресемплированием. Полуполосные фильтры постепенно уменьшают число отсчётов и одновременно подавляют нежелательные высокие частоты, после чего ограниченный sinc-фильтр доводит сигнал до формата звукового устройства. Каскадная схема снижает вычислительную нагрузку по сравнению с прямой свёрткой длинным фильтром над каждым исходным отсчётом.
Что это меняет
Даже качественный сигнал можно испортить задержками. Буферизацию на пути от микшера до SDL и драйвера нужно согласовать с темпом вывода кадров, а частота обновления современного экрана не обязана совпадать с частотой оригинальной консоли. Из-за небольшой разницы скорости у автора накапливались лишние аудиоотсчёты. Итоговый опыт показывает: синхронизация звука и изображения требует учитывать весь путь данных, а не только генератор нот.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.