Надёжный RAG, быстрый инференс и новые проверки LLM

В сегодняшней подборке — методы, которые помогают моделям понимать границы собственных знаний, быстрее генерировать ответы и безопаснее советовать пользователям. Плюс практический выбор моделей для локального запуска.

🔥 Hot:

🔹 Исследователи предложили проверять, достаточно ли данных для ответа RAG — Метод учит модель распознавать нехватку или противоречивость документов и не отвечать уверенно там, где оснований недостаточно. 🔹 Новый метод ускоряет инференс LLM через векторный поиск по словарю токенов — Авторы заменяют плотный расчёт по всей выходной матрице поиском ближайших токенов, снижая узкое место по пропускной способности памяти. 🔹 Шесть коммерческих LLM проверили на влиянии эмоций пользователя на рискованные советы — Исследование оценивает, чаще ли модели одобряют преждевременные решения, когда пользователь описывает эмоциональную уязвимость.

➡️ Полезные материалы:

🔹 Опубликован обзор rubric-guided reinforcement learning для языковых моделей — Подход заменяет одно общее числовое вознаграждение более подробными критериями качества ответа. 🔹 Byte-level chunking помогает моделям переносить знания на языки с малым объёмом данных — Метод работает с UTF-8 напрямую и пытается избежать ограничений субсловной токенизации для нелатинских языков. 🔹 PACE автоматизирует извлечение контента с сайтов разных издателей — Agentic-подход учитывает особенности конкретных макетов и извлекает не только текст, но и метаданные, изображения и таблицы. 🔹 XHotpotQA проверяет многошаговые ответы, где факты распределены между языками — Бенчмарк выявляет ошибки на языковых границах, которые скрываются при простом переводе всего примера на один язык. 🔹 Trajectory-Level Speculative Decoding ускоряет диффузионные языковые модели — Метод сохраняет параллельную генерацию dLLM даже в случаях, когда обычные стратегии из-за низкой уверенности скатываются к генерации по одному токену.

➡️ Обсуждения и кейсы:

🔹 В LocalLLaMA сравнивают GLM 5.3, GLM 5.3 Flash и Qwen Flash как замену Kimi k3 — Обсуждение посвящено компромиссу между скоростью локального запуска и качеством ответов.

📝 Если хотите дополнить список другими новостями и материалами, пишите в комментариях.