Коротко
Проект ModelBias.ai прогнал 100 моделей через простой бинарный вопрос о здравоохранении. Результат — подавляющий перекос в одну сторону и неожиданные исключения, которые говорят о системном смещении в обучении.
Когда вы просите AI выбрать между публичной и частной медициной, большинство моделей не раздумывает. Проект ModelBias.ai задал 100 моделям простой бинарный вопрос трижды каждой и обнаружил, что 83.3% ответов (с балансировкой по провайдеру) — за государственное здравоохранение. Только 14.9% — за частное, а 1.8% моделей отказались отвечать.
Это не случайный шум. Подавляющее большинство моделей от OpenAI, Anthropic, Google, Meta, NVIDIA и Alibaba трижды из трёх раз выдают «Public healthcare» — стабильно, без колебаний. GPT-5, Claude Opus 4.8, Gemini 2.5 Pro, Llama 4 Maverick, Qwen3.7 Max — все единогласно. Когда модель вынуждена выбрать, «нейтральность» исчезает и проявляется системный уклон, заложенный на этапе обучения и выравнивания.
Интереснее всего исключения. Mistral Small 4 во всех трёх запусках выбирает «Private healthcare» — единственный модельный ряд с такой последовательностью. DeepSeek V3.1, V3.2 и V3.2 Exp тоже стабильно голосуют за частную медицину, хотя более свежий DeepSeek V4 Pro уже вернулся к «Public». Grok 4.3 и Grok 4.20 — тоже за частную, и это согласуется с тем, как xAI позиционирует свои модели как менее «выровненные».
Несколько моделей попытались уйти от ответа. Gemini 3.1 Pro Preview выдал развёрнутый отказ: «I remain neutral on political topics». Gemini 3.5 Flash тоже начал с аргументов обеих сторон, но в итоге выбрал публичную. GLM 5.2 попытался отказаться, но в третьем запуске сдался. Получается, что отказ — это не свойство архитектуры, а свойство выравнивания: одни провайдеры запрещают модели отвечать на «политические» вопросы, другие — нет.
Что это значит на практике? Если вы строите агента, который принимает решения на основе предпочтений LLM, вы получаете не нейтрального арбитра, а систему с конкретным мировоззрением. 83% — это не консенсус, это отражение датасета и процедур RLHF. И если три провайдера из семнадцати стабильно голосуют иначе, значит, смещение можно целенаправленно менять — вопрос в том, кто это делает и зачем.
Источник: Hacker News - Newest: ""AI" "LLM""