CSTutorBench: бенчмарк для оценки малых языковых моделей как репетиторов по программированию
Sh0ny
8 июля 20261 мин чтения
Коротко
Исследователи представили CSTutorBench — бенчмарк для оценки языковых моделей в роли преподавателей информатики в среде блочного программирования VEX VR. Тестирование 11 моделей показало, что они справляются с поверхностными критериями, но испытывают трудности с глубокими педагогическими аспектами.
Большие языковые модели всё чаще рассматриваются как AI-репетиторы, однако их применение в школах вызывает опасения из-за вопросов конфиденциальности, высокой стоимости и зависимости от проприетарных решений. Малые языковые модели (SLM) становятся перспективной альтернативой, но выбрать подходящую модель для конкретного образовательного контекста сложно — особенно в таких нишевых областях, как блочное программирование, которое практически отсутствует в обучающих данных моделей.
Как устроен CSTutorBench
Новый бенчмарк CSTutorBench оценивает языковые модели как преподавателей информатики в VEX VR — среде блочного программирования для управления роботами. Бенчмарк включает:
- 17 сценариев на основе реальных ситуаций;
- оценку по педагогической рубрике, основанной на исследованиях в области преподавания и обратной связи;
- пайплайн с участием человека и LLM-судьи для автоматизированной проверки.
Результаты тестирования
Предварительные тесты охватили 11 моделей в диапазоне от 4 до 120 миллиардов параметров. Выяснилось, что модели хорошо справляются с поверхностными критериями — словарём и тоном общения, — но испытывают серьёзные трудности с более глубоким педагогическим поведением. В частности, им сложно избегать прямых подсказок-ответов и учитывать историю отладки ученика.
В исследуемой выборке семейство модели и подход к instruction-tuning оказались более значимыми предикторами качества преподавания, чем单纯о количество параметров. Впрочем, из-за небольшого числа протестированных моделей авторы отмечают ограниченную уверенность в этом выводе.
Влияние промпт-инжиниринга
Целенаправленная переработка промптов, основанная на современных исследованиях в области образовательного промпт-инжиниринга, позволила улучшить результаты у 10 из 11 моделей. Это подтверждает, что контекстно-ориентированные бенчмарки, основанные на педагогических принципах, играют ключевую роль при выборе SLM для образовательных применений.
Источник: cs.AI updates on arXiv.org