ИИ помог закрыть открытый вопрос о методе Benjamini-Hochberg в статистике

Исследователь Edgar Dobriban сообщил, что с помощью искусственного интеллекта удалось разрешить давнюю открытую проблему в области проверки множественных гипотез. Речь идёт о процедуре Benjamini-Hochberg (BH), предложенной в 1995 году для контроля доли ложных отклонений (FDR). Этот метод широко применяется в геномике, астрономии и экономике, а оригинальная статья набрала более 130 000 цитирований.

В чём суть проблемы

Benjamini и Hochberg доказали контроль FDR только для независимых данных. На практике данные часто зависимы — например, генетические варианты из-за неравновесия сцепления. Позже валидность метода расширили на случаи положительной зависимости, но вопрос о том, сохраняется ли контроль FDR для произвольных коррелированных гауссовских данных при двусторонних тестах, оставался открытым.

Роль ИИ

Dobriban отмечает, что с помощью GPT-5.6 Sol Pro задача была решена за один проход. Предыдущая версия модели, GPT-5.5, не справилась даже после 20 часов работы с несколькими параллельными агентами. По словам исследователя, прирост возможностей оказался весьма ощутимым.

Результат

Гипотеза опровергнута в негативном смысле: процедура BH не гарантирует контроль FDR на заданном уровне для коррелированных двусторонних гауссовских тестов. Автор привёл пример модели гауссовского фактора, для которой при номинальном уровне alpha=0.01 доказано, что FDR превышает 0.0104.

Нарушение номинального уровня невелико, поэтому практические последствия ещё предстоит выяснить. Значимость результата в основном концептуальная. Emmanuel Candes из Stanford University ранее называл FDR и процедуру BH «одним из двух важнейших достижений в статистике после 1950 года».

Препринт работы доступен на сайте факультета Wharton и вскоре появится на arXiv. Сопроводительный код опубликован на GitHub.

Источник: Hacker News - Newest: ""AI" "LLM""