STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Cloudflare раскрыла утечку контекста между клиентами Workers AI: причиной стали настройки KV-кеша и ошибка SGLang

Cloudflare описала уже устранённый сбой изоляции запросов к модели GLM-5.3 в Workers AI. Из-за сочетания недостаточного объёма KV-кеша и ошибки обработки отклонённых запросов отдельные ответы могли содержать фрагменты чужого контекста.

Главное

Инцидент затронул конкретную модель GLM-5.3, работавшую в облачной платформе Workers AI. По результатам внутренней проверки Cloudflare обнаружила 155 ответов, в которые могли попасть сведения из ранее обработанных пользовательских запросов. Компания относит случаи к периоду с конца августа до начала сентября и подчёркивает, что не нашла признаков целенаправленной эксплуатации. Отчёт обнародован после устранения проблемы и согласования публикации с разработчиками движка.

Для ускорения генерации модель использовала разделённые этапы обработки: один набор ускорителей готовил данные запроса, другой формировал ответ. Между ними передавался KV-кеш — промежуточное представление контекста. Такие страницы памяти повторно используются для разных заданий, поэтому корректный контроль владения ими особенно важен. Здесь принимающая сторона полагала, что получила обновлённый кеш целиком, хотя часть зарезервированных страниц осталась заполненной данными от предыдущих обращений.

Подробности

Ошибка проявлялась при очень длинных запросах. У модели было заявлено контекстное окно на 1 048 576 токенов, но выделенный пул памяти на этапе предварительной обработки вмещал лишь 681 280 токенов. Движок SGLang внутренне отклонял слишком большой запрос, однако передавал дальше служебный заполнитель и сигнал завершения. Этап генерации принимал этот сигнал за полноценную передачу контекста и обращался к устаревшим страницам памяти вместо того, чтобы вернуть клиенту ошибку.

Cloudflare сначала отключила доступ к затронутой модели, затем увеличила ёмкость KV-пула и исправила обработку отклонённых запросов до передачи данных между узлами. Публичная работа модели была восстановлена 9 сентября. Параллельно изменения внесли в SGLang; операторам распределённых установок рекомендовано использовать версию v0.5.22 или новее. Исправления дополнены проверками фактического объёма кеша и защитой от некорректного освобождения страниц во время передачи.

Что это меняет

История показывает ограниченность мониторинга, который смотрит лишь на HTTP-статус и время ответа. При таком сбое запрос мог выглядеть успешно завершённым, хотя сгенерированный текст опирался на данные другого клиента. Для команд, эксплуатирующих общие серверы инференса, практический вывод состоит в необходимости проверять соответствие контекстного окна и физического кеша, тестировать отказные сценарии и контролировать принадлежность страниц на границе между этапами обработки. По заявлению Cloudflare, остальные модели Workers AI этим инцидентом затронуты не были.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Cloudflare Blog. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗