STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

HippoGPT на ZX Spectrum: как языковая модель уместилась в память домашнего компьютера

Энтузиаст запустил небольшую языковую модель на ZX Spectrum 128K и заставил её продолжать короткие сказки. Эксперимент показывает не столько качество генерации, сколько способы приспособить нейросетевые вычисления к процессору без аппаратного умножения и крайне ограниченной памяти.

Главное

В основе проекта HippoGPT лежит задача, непривычная для эпохи крупных языковых моделей: заставить генератор текста работать непосредственно на домашнем компьютере с процессором Z80. Разработчик использовал корпус TinyStories, а затем дополнил обучение тематическими историями о кассетах, играх и характерных сообщениях старой машины. Это позволило хотя бы частично приблизить словарь модели к среде, в которой будет происходить демонстрация.

Для компактности автор отказался от посимвольного формирования текста в пользу токенов — часто повторяющихся фрагментов слов. Словарь содержит 512 элементов, сама сеть имеет два слоя и около 120 тысяч параметров, а окно контекста охватывает 64 токена. Веса квантованы до четырёх бит: без такого ограничения они не разместились бы в доступной памяти. При этом уменьшение модели заметно сказывается на связности получающихся историй.

Подробности

Главное техническое затруднение связано с арифметикой Z80. Вместо постоянного программного умножения в наиболее нагруженных частях автор заранее вычисляет произведения для небольшого набора возможных значений весов и берёт результаты из таблиц. Для операций внимания пригодились таблицы квадратов; другие дорогие функции также заменяются предварительно рассчитанными значениями. Так вычислительная задача частично превращается в задачу размещения данных и быстрого чтения памяти.

Распределить веса по банкам памяти оказалось не менее сложно, чем ускорить вычисления. Некоторые матрицы оставлены в формате одного байта на вес ради скорости, другие упакованы плотнее. Разработчику пришлось отдельно учитывать таблицу эмбеддингов и служебные структуры. Итоговая конфигурация занимает около 112 КБ, поэтому аппаратный лимит влиял не только на размер сети, но и на порядок обращения к её данным.

Что это меняет

Корректность реализации проверялась сопоставлением с Python-версией, использующей те же целочисленные операции и правила округления. Для тестовой последовательности в 200 токенов результаты совпали побитово. Отдельная отладка затронула обработку клавиатуры: короткие нажатия раньше терялись во время длительных расчётов. Автор перенёс опрос внутрь вычислительного цикла и устранил ошибку токенизации пользовательского ввода.

Практическая скорость остаётся экспериментальной: приблизительно четыре секунды уходят на генерацию одного токена. Автор признаёт, что устойчиво связный рассказ получается нечасто, но цель проекта иная — показать работающую нейросеть там, где её практически не ожидали увидеть. Демо доступно через браузерный эмулятор ZX Art; опубликованные замеры относятся именно к этой реализации и не доказывают пригодность такого подхода для повседневных задач.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗