Двойное слепое рецензирование не скрывает автора от LLM

Анонимная научная статья больше не обязательно остаётся анонимной для языковой модели. Если LLM угадывает автора по названию и аннотации, двойное слепое рецензирование теряет главное преимущество — защиту от предвзятого отношения к статусу и месту работы исследователя.

Самое неприятное здесь не в том, что модель распознаёт стиль. Авторы исследования исключили стилистические и библиографические признаки, но у LLM всё равно оставалась информация о том, как исследователь формулирует проблему и какие направления выбирает. Получается своеобразный смысловой отпечаток автора.

В эксперименте модели получали только названия и аннотации работ, опубликованных уже после завершения их обучения. Затем им предлагали выбрать автора из пяти кандидатов — экспертов в соответствующей области. По данным авторов, LLM эффективнее людей сужали круг возможных авторов, причём уверенность концентрировалась на небольшом числе кандидатов.

Это меняет практический вопрос. Редакциям недостаточно просто убрать имя, организацию и список литературы: сам выбор темы и способ постановки задачи могут выдавать автора. А значит, анонимность превращается не в свойство рукописи, а в гонку между методами сокрытия и семантическим анализом.

Ограничения у вывода существенные. Исследование опирается только на названия и аннотации, рассматривает публикации после обучения модели и проверяет выбор среди пяти заранее определённых кандидатов. Из этого ещё нельзя напрямую заключить, что любая LLM сможет надёжно деанонимизировать любую рукопись в реальной редакционной системе. Но сигнал достаточно неприятный: если научная работа узнаваема по самой логике постановки проблемы, удаление имени уже не решает задачу.

Сможет ли рецензирование оставаться действительно беспристрастным, если анонимность приходится защищать не от людей, а от анализа смысла?

Источник: cs.CL updates on arXiv.org