Рецензентов ML предлагают мотивировать не просьбами, а кредитами

Качественные рецензии в машинном обучении не появятся от ещё одной вежливой инструкции для reviewers. Авторы позиционной статьи считают, что конференциям нужны реальные стимулы: вклад в рецензирование должен превращаться в ресурс, который можно потратить.

Идея похожа на внутреннюю валюту для научных конференций. Исследователь получает OpenReview Points за хорошие практики рецензирования, а затем использует их на одной или нескольких крупных конференциях.

Потратить баллы можно было бы на разные преимущества: например, на бесплатную регистрацию или запрос дополнительных ресурсов для рецензирования собственной работы. Это меняет саму логику системы: рецензирование перестаёт быть просьбой «помогите сообществу» и становится условием доступа к части возможностей.

Важен и второй элемент предложения — не только кредиты, но и исполнимые, достаточно точные процедурные правила. Одной валютой плохую систему не починить: если непонятно, что считать хорошей рецензией, баллы легко превратятся в награду за количество, а не за качество. Нужны правила, которые ограничивают злоупотребления и учитывают реальный вклад.

При этом перед нами не готовый сервис и не результат эксперимента, а позиционная статья. Авторы обсуждают два главных вопроса — как ограничить поток заявок и как поощрять хорошие рецензии, одновременно сдерживая плохие, — и предлагают два альтернативных дизайна. Но в абстракте не показано, как именно будет измеряться качество, кто решит спорные случаи и насколько система окажется устойчивой к накрутке.

Практический вывод простой: если конференции хотят более сильные рецензии, им придётся платить за них не обязательно деньгами, но хотя бы понятными и проверяемыми преимуществами. Какой стимул заставил бы вас написать действительно подробную рецензию — бонус за доступ или риск потерять баллы?

Источник: cs.AI updates on arXiv.org