Dragos обнаружила утечки секретов в цепочках обработки запросов к ИИ
Исследователи Dragos отправили ИИ-сервисам почти два миллиона тестовых запросов с уникальными приманками и проследили дальнейшее использование этих данных. Эксперимент обнаружил признаки взломов поставщиков, чтения запросов посредниками и несоблюдения ограничений на хранение.

Главное
Эксперимент описал руководитель исследований Dragos HD Moore. С июля по ноябрь команда передавала в запросах к моделям уникальные ссылки и учётные данные от специально подготовленных пустых тестовых аккаунтов. Каждая приманка использовалась только в одном обращении, а вся связанная инфраструктура находилась под контролем исследователей. Поэтому последующая попытка открыть ссылку или применить ключ позволяла проследить, через какого участника обработки запрос прошёл наружу.
Важная особенность современных ИИ-приложений — наличие посредников между пользователем и моделью. Сервис маршрутизации может отправить запрос другому брокеру, а тот — отдельному оператору вычислений. Передача данных по защищённому соединению сама по себе не мешает промежуточной системе прочитать содержимое после расшифровки. Именно поэтому пользователь не всегда может понять, какая компания фактически получила его текст и вложенные сведения.
Подробности
По выводам Dragos, как минимум у трёх поставщиков инфраструктуры наблюдались признаки компрометации: внедрённые в запросы тестовые ключи позднее использовали неизвестные участники. Исследователи также выявили продавцов вычислительных мощностей, которые записывали запросы штатными средствами журналирования. В публикации Ars Technica эти эпизоды разграничены: не всякая утечка означает взлом, поскольку часть доступа обеспечивала обычная работа посредника.
Отдельный вопрос вызвали настройки Zero Data Retention, призванные ограничивать сохранение пользовательских запросов. Тестовые адреса открывались и после обращений, для которых был заявлен такой режим, а некоторые переходы происходили спустя значительное время. Наблюдения указывают на расхождение между ожиданиями клиентов и фактической цепочкой обработки, но не означают, что все перечисленные поставщики нарушали правила одинаковым способом.
Что это меняет
Практический вывод для команд, использующих внешние модели, состоит в проверке каждого звена передачи данных. Чувствительные ключи не следует помещать в текст запроса; для важных операций лучше выбирать известного непосредственного поставщика вместо неопределённого пула посредников. Если маршрутизация необходима, стоит фиксировать разрешённых исполнителей и режим хранения, а при особенно высоких требованиях к конфиденциальности рассматривать собственную инфраструктуру.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Ars Technica. Текст и иллюстрации первоисточника не воспроизводятся целиком.