Формулировка промпта меняет культурные ответы LLM сильнее, чем сама модель

Если вы просите LLM «ответить как житель Германии», «представить, что вы — немец» или «предсказать, как ответили бы немцы» — вы получаете три разных набора ответов. Это не косметическая разница: framing промпта оказывается фактором первого порядка, определяющим, насколько ответы модели совпадают с реальными распределениями человеческих ценностей.

Исследователи прогнали GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash и Qwen3-235B через 101 вопрос из World Values Survey, на 13 языково-страновых срезах, получив 21 008 строк ответов. Сравнивались четыре формата: baseline без страновых подсказок, персонализация (user-country), role-play (persona-country) и third-person forecasting.

Главный практический вывод: third-person forecasting — «как бы ответили люди из страны X» — даёт наиболее сильную и направленную культурную привязку у трёх из четырёх хост-моделей. Персонализация и role-play работают слабее и менее стабильно. Если вы строите агента, который должен отражать ценности конкретной аудитории, интуитивный подход «ты — пользователь из страны Y» оказывается хуже, чем отстранённое «предскажи ответ людей из страны Y».

Это контринтуитивно: кажется, что role-play должен глубже погружать модель в контекст. Но third-person framing, видимо, активирует у модели паттерны, выученные из данных опросов и социологических текстов, а не из стереотипных персонажей. Персонализация же подталкивает модель к усреднённому «вежливому» поведению, которое размывает культурную специфику.

Выравнивание концентрируется на заметных ценностных осях — религиозность, гендерные роли, трудовые материальные ценности. А вот институциональное доверие и вопросы демократии остаются трудными для всех моделей и всех форматов. Это ограничение важно: если вы используете LLM для симуляции общественных настроений в политически чувствительных темах, результаты будут наименее надёжны именно там, где ставки выше.

Практическое следствие для разработчиков агентов: не считайте framing промпта мелочью. Выбор между «ты —», «представь, что ты —» и «как бы ответили люди из —» меняет измеряемое выравнивание не меньше, чем выбор модели. Тестируйте все три и измеряйте, какой ближе к реальным данным вашей аудитории, а не полагайтесь на интуицию.

Источник: cs.AI updates on arXiv.org