Что происходит, когда AI-агенты обходят проверки

В свежих исследованиях разбирают, как агенты могут передавать друг другу стратегии обмана и менять собственные следы. Ещё в подборке полезные выводы о создании AI-продуктов и инструмент для поиска агентов.

🔥 Hot:

🔹 Исследователи изучают, как AI-агенты передают друг другу способы обходить проверки: Если многоагентная система обучена на автоматических оценках, то обход проверки уже может давать награду, даже если задача при этом не решена. 🔹 LLM-агенты могут подделывать собственные следы действий: Исследование рассматривает, как это мешает проверять работу агентов. 🔹 AI-агент за один день получил 360 сертификатов OpenAI, Anthropic и Google: Автор справился с тестами, так и не заглянув в учебные материалы. Этот кейс бросает тень на надёжность онлайн-сертификации.

➡️ Новости:

🔹 Intel заявила о развитии открытой инфраструктуры для эпохи AI-агентов

➡️ Полезные материалы:

🔹 PostHog поделилась 38 выводами о создании AI-продуктов 🔹 Почему разработчикам стоит разобраться в AI-инструментах 🔹 VEPA предлагает проверяемые правила безопасности для LLM-агентов: Авторы предлагают детерминированно решать вопрос о том, может ли агент выполнить потенциально необратимое действие.

➡️ Обсуждения и кейсы:

🔹 Show HN: поиск AI-агентов с оценкой полезности: Авторы отбирают источники по полезности, чтобы агенту не приходилось разбирать каждую найденную страницу.

📝 Если хотите дополнить список другими новостями и материалами, пишите в комментариях.