STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Technology

Исследователи Microsoft изучили риск скрытого изменения поведения ИИ-агентов

Работа исследователей Microsoft, о которой рассказали технологические СМИ, обращает внимание на опасность точечных изменений внутри ИИ-модели. Даже небольшое вмешательство способно повлиять на ответы или действия агента, поэтому защиту нельзя ограничивать проверкой текстовых инструкций.

Иллюстрация из открытой ленты 3DNews

Главное

Автономная система зависит не только от внешних запросов, но и от состояния самой модели, её весов, настроек и подключённых инструментов. Обычно обсуждение атак на агента начинается с подменённой страницы или подозрительной инструкции в документе. Исследование, описанное в новости, показывает другой класс угроз: изменение параметров модели до того, как она попала в рабочее окружение.

По опубликованному сообщению, команда рассматривает эксперимент, в котором целевое поведение удаётся изменить точечной корректировкой небольшого числа нейронов. Такая постановка важна для цепочки поставки: организация может использовать внешнюю модель, дообученную сборку или сторонний артефакт, не имея полной уверенности в происхождении всех изменений. При этом результаты лабораторного исследования не означают, что любой действующий ИИ-помощник уже скомпрометирован.

Подробности

Для инженерной команды вывод связан с проверяемостью поставляемых компонентов. Полезно фиксировать происхождение модели, версии и контрольные суммы артефактов, ограничивать круг людей с правом замены весов и проводить повторные тесты поведения после обновлений. Особенно критично это для агентов с возможностью изменять файлы, отправлять запросы и управлять инфраструктурой, где ошибочное решение приводит к последствиям за пределами чата.

Технические средства контроля должны находиться и вне модели. Независимые разрешения на действия, изоляция инструментов, журналирование и подтверждение чувствительных операций ограничивают потенциальный ущерб даже при сбое самого интеллектуального компонента. Исследование дополняет аргумент в пользу многослойной защиты: доверие к модели не должно автоматически означать безусловное доверие ко всем командам, которые она предлагает выполнить.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации 3DNews. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗