STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

TenetBench проверил, умеют ли языковые модели соблюдать профессиональные кодексы

Исследователи TenetBench предложили проверять ответы ИИ-ассистентов не по общим категориям риска, а по конкретным пунктам профессиональных кодексов. Эксперимент выявил важную проблему: предупреждение о нарушении нормы далеко не всегда означает, что модель отказалась выполнить спорную просьбу.

Главное

Вместо абстрактных вопросов о безопасности авторы берут положение реального профессионального документа и превращают его в рабочую ситуацию. Затем создают два близких по формулировке запроса: один требует действия, которое конфликтует с нормой, другой описывает допустимую задачу. Такая пара помогает отличать осмысленное соблюдение требования от привычки отказывать на любые сложные просьбы.

Основной набор TenetBench включает 3 433 пары запросов, привязанных к положениям 15 русскоязычных кодексов. Для каждой записи сохраняются исходный пункт, контекст профессии и ожидаемая граница допустимого поведения. В публичном репозитории исследователи разместили часть корпуса: 2 235 пар по 10 документам, а не весь использованный при оценке набор.

Подробности

Правдоподобие построенных ситуаций проверяли люди, а не только автоматический оценщик. Среди 1 200 просмотренных конфликтных примеров 1 194 признали полностью реалистичными; оставшиеся получили замечания. Авторы также описывают подготовку новых задач из тех же нормативных положений и фиксацию версии корпуса, чтобы результаты разных запусков можно было сравнивать на одинаковом материале.

В эксперименте сопоставляли 14 комбинаций языковых моделей и режимов рассуждения. Для 11 из них конфликтное содержание появлялось в большинстве ответов на соответствующие запросы. При этом модель иногда сопровождала готовый результат предупреждением об этическом ограничении. По методике TenetBench такой ответ нельзя считать безопасным только потому, что в начале прозвучало предостережение.

Что это меняет

Система оценки разделяет несколько признаков: был ли реально выполнен запрос, вступает ли сформированный материал в противоречие с конкретной нормой и какой тип отказа или предупреждения выбрала модель. Проверка по парному допустимому запросу показывает обратную сторону задачи: слишком осторожный ассистент может блокировать и легитимную помощь, поэтому одной доли отказов недостаточно.

Практическая ценность работы — в возможности строить тесты под правила конкретной организации и отслеживать регрессии после изменения модели или инструкций. Но цифры этого исследования относятся к выбранным кодексам, заданиям и условиям проверки; они не дают универсального рейтинга надёжности ИИ во всех профессиях. Для внедрения нужны собственные контрольные случаи и проверка человеком.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗