LLM-poisoning работает: 250 документов меняют ответы чатботов

Контракт на $46,5 млн между правительством Израиля и фирмой Clock Tower X бывшего менеджера кампании Трампа Брэда Парскаля — не очередная история про пропаганду в соцсетях. Это рабочий кейс «LLM-poisoning» — целенаправленного отравления обучающих данных, и он показывает, насколько хрупок pipeline современных чатботов.

Clock Tower X создала 10 сайтов, каждый продвигает отдельный израильский нарратив. Сайты оформлены как фактуальные ресурсы: буллет-поинты, ключевые тейкэвеи вверху страницы, обильные ссылки. По данным Drop Site, 85% страниц сети заархивированы в Common Crawl — основном источнике обучающих данных для LLM. Для сравнения: у российской сети Pravda этот показатель около 2,5%.

Между январём и июнем 10 сайтов сети были просканированы Common Crawl 912 раз. В январе — всего дважды, в мае — 376 раз. Тренд растёт.

Это работает, потому что чатботы предпочитают сбалансированный взгляд. Когда Perplexity спрашивают «выгодно ли США расширять военное сотрудничество с Израилем?», бот отвечает «Yes» и цитирует Allyvia.org — сайт, созданный Clock Tower X. Microsoft Copilot делает то же самое. Ни один из них не помечает источник как часть израильской операции влияния.

Claude, ChatGPT и Gemini в некоторых случаях помечают происхождение. Perplexity и Copilot — нет.

Почему небольшого объёма достаточно

Исследование Anthropic от октября показало: около 250 вредоносных документов достаточно для создания «backdoor»-уязвимости в большой языковой модели — независимо от размера модели и объёма обучающих данных. Это значит, что атакующему не нужно заливать терабайты контента. Нужен небольшой набор страниц, написанных в фактуальном тоне и аккуратно структурированных.

Именно это делает сеть Clock Tower X эффективнее российских массовых вбросов. Россия гонит объём легко опровергаемой пропаганды. Израиль идёт точечно: половинчатые истины, мнения и оспариваемые факты, которые сложнее отсеять guardrails. «Труднее поставить ограничители вокруг мнения», — объясняет аналитик NewsGuard Алиса Ли.

Что это значит для разработчиков

Common Crawl — открытый репозиторий, и любой контент в нём может стать частью обучающих данных. Включение в Common Crawl не гарантирует попадание в конкретную модель — у каждой компании свой процесс контроля качества. Но исследование Atlantic Council подтвердило: даже без гарантии риск реален.

Практический вывод: если вы строите RAG-систему или агент, который тянет данные из веба, вы уязвимы к тому же вектору. Источник, который выглядит как «фактуальный блог с sourcing», проходит фильтры легче, чем откровенная пропаганда. Проверка домена на FARA-регистрацию или принадлежность к foreign agent — не входит в стандартный pipeline ни одного популярного фреймворка.

Следующий вопрос — не «заражена ли модель», а «как быстро индустрия построит слой верификации источников, пока это не стало стандартной атакой на каждый AI-агент».

Источник: Hacker News - Newest: ""AI" "LLM""