AI-дайджест: чат-боты ошибаются в финансовых вопросах

Главное за сутки — от проблем с надёжностью AI-ответов до новых методов поиска галлюцинаций и работы с длинным контекстом.

🔥 Hot:

🔹 AI-чат-боты дают неправильные ответы на финансовые вопросы в большинстве случаев — Это особенно критично для сценариев, где пользователи рассчитывают на точность и принимают решения на основе ответа модели.

➡️ Полезные материалы:

🔹 Исследователи предложили находить галлюцинации LLM по структуре информационных потоков — Метод анализирует графы внимания и ищет структурные признаки узких мест в передаче контекста. 🔹 Новое исследование разделяет изменения представлений LLM и их причинную важность после дообучения — Работа изучает, как fine-tuning меняет внимание и активации по слоям, и связаны ли эти изменения с поведением модели. 🔹 RBS-Attention сокращает стоимость prefill для LLM с длинным контекстом — Метод выбирает ограниченные области внимания и учитывает риск, что усреднение блока скроет важный токен.

➡️ Обсуждения и кейсы:

🔹 Разработчик написал MCP-сервер и поручил LLM проверить его код — Практический эксперимент показывает сценарий, в котором модель выступает ревьюером собственного инструментария. 🔹 В LocalLLaMA сравнивают Ternary Bonsai 2 27B с компактными локальными моделями — Обсуждение ориентировано на пользователей с ограниченными GPU и отдельно учитывает размер KV-кэша.

📝 Если хотите дополнить список другими новостями и материалами, пишите в комментариях.