Мадагаскар в экзамене показал не списывание, а слепое доверие ИИ

Проблема оказалась не в том, что студенты использовали ChatGPT, а в том, что они перестали читать собственные работы. Преподаватель спрятал в задании слово Madagascar — белым по белому — и при полном копировании текста в языковую модель оно иногда появлялось в ответе совершенно бессмысленным образом.

Результат получился показательный: странные упоминания Мадагаскара обнаружились у 32 из 35 студентов. В некоторых работах встречались фразы вроде «Madagascar floats sideways through the afternoon» — предложения, не имеющие отношения ни к промышленной революции, ни к цифровой эпохе.

Самый неприятный вывод здесь не про академическую честность. Раньше студент, списывая текст из Википедии, хотя бы бегло его просматривал. Теперь ответ нейросети легко воспринимают как готовую работу: скопировал, вставил, отправил. Любая нелепость при таком подходе становится не ошибкой модели, а ошибкой человека, который не удосужился проверить результат.

При этом сама «мадагаскарская ловушка» не выглядит надежным доказательством. Один студент мог увидеть скрытый текст из-за темной темы оформления, и ему вернули баллы после апелляции. Кроме того, современные языковые модели уже учатся замечать скрытые инструкции в документах, предупреждать о них или игнорировать их. Изящный трюк быстро может превратиться в устаревший способ проверки.

Но полезный урок останется: любой текст от ИИ нужно проверять так, будто его написал очень уверенный стажер, который иногда вставляет в историческое эссе фиолетовый велосипед. Вопрос только в том, где проходит ваша личная граница: вы проверяете каждый ответ нейросети или доверяете ему, пока абсурд не заметит кто-то другой?

Источник: Все статьи подряд / Машинное обучение / Хабр