AI-дайджест: агенты, аудит AI-учёных и защита от атак

Сегодня — о том, как измерять работу автономных AI-учёных и ограничивать инструменты агентов. Плюс практический кейс: детектор lateral movement, обученный только на синтетических данных.

🔥 Hot:

🔹 OpenDiscoveryTrace предлагает оценивать не только результат работы AI-учёного, но и весь процесс — Так можно проверять методологию, находить сбои и отличать системное рассуждение от случайно удачного ответа. 🔹 Исследователи предложили показывать AI-агенту только нужное меню инструментов — Меню формируется под конкретный многошаговый сценарий и включает инструменты для финального действия и подготовки его входных данных.

➡️ Обсуждения и кейсы:

🔹 Нейросеть для поиска lateral movement обучили на полностью синтетической корпоративной сети — Автор сгенерировал историю входов и сценарий атаки, не используя в обучении реальные данные.

📝 Если хотите дополнить список другими новостями и материалами, пишите в комментариях.