STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Technology

NIST описал угрозы для ИИ-агентов: на что обратить внимание разработчикам автоматизации

В проекте классификации NIST отдельное место заняли атаки на автономных ИИ-помощников, которые умеют вызывать инструменты и выполнять действия. Это важное дополнение к обсуждению безопасности языковых моделей: ошибки теперь могут затрагивать реальные системы и данные.

Иллюстрация из открытой ленты Habr

Главное

В отличие от чат-бота, который только отвечает на вопрос, программный агент может читать документы, обращаться к API, менять параметры сервиса и запускать последовательные операции. Поэтому нарушителю достаточно повлиять на один из элементов рабочего процесса, чтобы попытаться перенаправить дальнейшие действия. Особое значение имеет граница между прямой инструкцией владельца и текстом, который агент получил из стороннего источника.

В обзоре проекта NIST выделяются этапы, на которых возможно вмешательство: постановка цели, планирование, вызов инструмента, получение результата и последующая корректировка плана. Среди обсуждаемых последствий — нарушение доступности, искажение результата, раскрытие информации или выполнение операций за пределами исходных полномочий. Эта структура помогает говорить о рисках предметно, а не сводить каждую проблему к общему термину атаки на промпт.

Подробности

Для разработчиков полезно отделять безопасность модели от безопасности всей системы. Даже корректный ответ сам по себе не проверяет, можно ли агенту использовать определённый ключ, отправить запрос во внешний сервис либо изменять данные пользователя. Необходимы явные разрешения для инструментов, контроль входных данных и журналирование решений. Критичные операции разумно дополнительно подтверждать независимо от текста, сгенерированного моделью.

Публикация рассматривает документ как проект, а не окончательно утверждённый стандарт. Его задача — сформировать общие определения, которыми смогут пользоваться команды разработки, аудиторы и исследователи при оценке агентных систем. Внедрять защиту стоит исходя из реальных сценариев продукта: какие полномочия выданы, где появляется недоверенная информация и какие последствия возможны при ошибочном действии.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗