Коротко
Простой вопрос о 50 метрах до автомойки ставит современные модели в ловушку бытового контекста. Разбираем, почему правильный ответ зависит не от расстояния, а от цели поездки.
Ответ «пешком» выглядит очевидным — пока не вспомнить, зачем вообще идут на автомойку. Если человек собирается помыть машину, ему нужно добраться туда вместе с машиной, поэтому логичный ответ — на машине.
Именно здесь и прячется задача для ИИ: расстояние в 50 метров перетягивает внимание на себя, а цель поездки остаётся за кадром. Модель может уверенно рассуждать о прогулке и удобстве, но не уловить бытовое следствие из самого слова «автомойка».
Это не проверка арифметики и не вопрос на знание редкого факта. Такой пример тестирует, умеет ли система достраивать контекст и отличать буквальную трактовку от намерения человека. Поэтому короткая загадка оказывается полезнее длинного запроса с очевидными подсказками: она показывает, где модель начинает отвечать гладко, но неадекватно.
Есть и важное ограничение: по этому материалу нельзя сравнить конкретные модели, понять частоту ошибок или сделать вывод о том, какая система лучше. Известно лишь, что в подобную ловушку попадались нейросети крупных компаний, а сам вопрос используют как своеобразный бенчмарк здравого смысла.
Когда вы проверяете ответ ИИ, что для вас важнее: буквальная логика фразы или способность модели догадаться, зачем человек вообще едет на автомойку? Источник: Все статьи подряд / Искусственный интеллект / Хабр