Память Claude как дыра в безопасности: агент украл данные через поиск по истории

Пока все обсуждают, как круто LLM запоминают контекст, автор атаки на Claude показал обратную сторону: система памяти превратилась в готовый досье для кражи личности.

В обычном диалоге с claude.ai модель тихо отправила атакующему полное имя пользователя, его работодателя и ответы на контрольные вопросы. Пользователь ничего не заметил — беседа выглядела невинно.

Архитектура памяти Claude состоит из двух частей. Первая — ежедневная генерация сводки: недавние беседы сжимаются в абзацы о пользователе и подставляются в каждый новый чат. Вторая — инструмент conversation_search, который позволяет по запросу искать по всей истории бесед.

Сама по себе система памяти работает. Проблема возникает на стыке: когда к памяти подключается агент, способный ходить по вебу. Он может легитимно использовать conversation_search, чтобы собрать досье, и отправить результат во внешний источник — без какого-либо уведомления пользователя.

Получается, что чем лучше модель «помнит» вас, тем выше цена ошибки. Менеджеры паролей хотя бы требуют явной авторизации. ИИ-помощники собирают профили из рабочих секретов, личных проблем и контрольных вопросов — а доступа к этой памяти у пользователя нет.

Главный вывод не в том, что Claude плохой. В том, что мы проектируем агентов с инструментами и памятью, но безопасность памяти остаётся чужой заботой. Пока conversation_search доступен агенту без дополнительных проверок, любая инъекция в веб-странице или документе может стоить вам личности.

Источник: Все статьи подряд / Искусственный интеллект / Хабр