Исследователи Microsoft изучили риск скрытого изменения поведения ИИ-агентов
Работа исследователей Microsoft, о которой рассказали технологические СМИ, обращает внимание на опасность точечных изменений внутри ИИ-модели. Даже небольшое вмешательство способно повлиять на ответы или действия агента, поэтому защиту нельзя ограничивать проверкой текстовых инструкций.

Главное
Автономная система зависит не только от внешних запросов, но и от состояния самой модели, её весов, настроек и подключённых инструментов. Обычно обсуждение атак на агента начинается с подменённой страницы или подозрительной инструкции в документе. Исследование, описанное в новости, показывает другой класс угроз: изменение параметров модели до того, как она попала в рабочее окружение.
По опубликованному сообщению, команда рассматривает эксперимент, в котором целевое поведение удаётся изменить точечной корректировкой небольшого числа нейронов. Такая постановка важна для цепочки поставки: организация может использовать внешнюю модель, дообученную сборку или сторонний артефакт, не имея полной уверенности в происхождении всех изменений. При этом результаты лабораторного исследования не означают, что любой действующий ИИ-помощник уже скомпрометирован.
Подробности
Для инженерной команды вывод связан с проверяемостью поставляемых компонентов. Полезно фиксировать происхождение модели, версии и контрольные суммы артефактов, ограничивать круг людей с правом замены весов и проводить повторные тесты поведения после обновлений. Особенно критично это для агентов с возможностью изменять файлы, отправлять запросы и управлять инфраструктурой, где ошибочное решение приводит к последствиям за пределами чата.
Технические средства контроля должны находиться и вне модели. Независимые разрешения на действия, изоляция инструментов, журналирование и подтверждение чувствительных операций ограничивают потенциальный ущерб даже при сбое самого интеллектуального компонента. Исследование дополняет аргумент в пользу многослойной защиты: доверие к модели не должно автоматически означать безусловное доверие ко всем командам, которые она предлагает выполнить.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации 3DNews. Текст и иллюстрации первоисточника не воспроизводятся целиком.