Проверка приватности эмбеддингов: шум не помешал узнать документы в эксперименте
Новый авторский эксперимент показывает разницу между восстановлением текста из эмбеддинга и распознаванием уже известного документа. Даже при заметном ухудшении векторного поиска добавление шума не всегда мешает сопоставить защищённую запись с исходным материалом.
Главное
Исследователь опубликовал тестовый стенд для сравнения способов скрыть информацию в векторных представлениях текста. Он рассмотрел восемь вариантов преобразования, в том числе несколько типов шума, секретный поворот, проекцию, бинарное хеширование и квантование. Проверка шла на коллекциях SciFact из 5183 документов и NFCorpus из 3633 документов с двумя моделями эмбеддингов. Это лабораторный результат, а не проверка всех возможных конфигураций RAG.
В качестве угрозы автор выбрал не точное восстановление исходной фразы, а повторную идентификацию записи. Предполагается, что у атакующего уже есть часть текстов и соответствующих им защищённых векторов, по которым можно обучить обратное отображение. На SciFact при знании 100 пар, то есть около 2% корпуса, распознавание достигало примерно 89% для гауссова шума и 91% для SAP. Такой сценарий особенно важен для частично публичных архивов и баз с известными документами.
Подробности
При более широком наборе из 1000 известных соответствий отдельные шумовые подходы сохранили почти полную узнаваемость, даже когда качество поиска снизилось наполовину. Для обычного гауссова шума автор получил 99,9%, для сочетания с секретным поворотом — 99,2%, для SAP — 98,7%. Эти показатели относятся к выбранным условиям теста; они не означают, что по одному произвольному вектору всегда можно восстановить его содержание.
Уменьшение объёма сохраняемой информации помогало заметнее, но ухудшало поиск. В одном из измерений product quantization при сжатии до 8 байт на вектор оставляло 59% исходного качества поиска, а распознавание снижалось до 44,5%. Более мягкие настройки квантования почти не мешали атаке. Поэтому выбор защиты здесь оказался задачей баланса между точностью выдачи и тем, сколько сведений остаётся в представлении.
Что это меняет
Эксперимент также выявил различия между наборами данных. Одинаковая схема могла давать существенно разную узнаваемость на коллекциях с разным составом и тематикой. Автор отдельно оговорил границы работы: изучались две коллекции и две модели на английском языке, одна выгрузка векторов и геометрические преобразования. Методы полноценного криптографического вычисления по зашифрованным данным в это сравнение не входили.
Для владельцев поисковых систем и RAG-сервисов главный практический вывод — проверять не только возможность дословного восстановления документов. В тестовую модель угроз стоит включать сопоставление записей с известным корпусом и измерять снижение качества поиска после преобразования. С чувствительными внутренними материалами безопаснее ограничивать доступ к векторной базе и исходным документам, чем считать добавленный шум самостоятельной гарантией конфиденциальности.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.