Модель видит сломанный маршрут, но не знает, стоит ли его чинить
Sh0ny
13 августа 20261 мин чтения
Коротко
В MoE-картинах квантизация KV-кэша меняет выбор экспертов примерно для части токенов, но сам факт переключения ещё не говорит, что ответ стал хуже. Это важное ограничение для «умного» ремонта инференса: локальный сигнал находит проблему, но не отличает вредное изменение от полезного.
Самая неприятная часть эксперимента не в том, что 4-битная квантизация KV-кэша иногда меняет маршрут токена. А в том, что после обнаружения такого переключения мы всё ещё не знаем, нужно ли его исправлять.
В Mixture-of-Experts роутер выбирает, какие эксперты обработают токен. Небольшое численное возмущение может перебросить токен через границу решения — даже если сам роутер работает в BF16. На OLMoE-1B-7B при 4-битном KV около трети измеренного ущерба оказалась связана именно с изменением маршрута: оценка RMF в пилоте составила примерно 0,31.
Но обнаружить переключение оказалось заметно проще, чем оценить его последствия. Запас роутера до границы решения предсказывал сам факт flip с AUC 0,772. А вот определить по локальным наблюдаемым статистикам, стал ли flip вредным или полезным, не удалось: результат был на уровне случайного угадывания.
Практический вывод простой: стратегия «откатывать каждый подозрительный маршрут» может чинить не только ошибки, но и нормальные улучшения. Значит, селективный repair нельзя строить лишь на уверенности роутера или других локальных сигналах, доступных во время инференса. Нужен либо более информативный источник обратной связи, либо готовность платить за лишние исправления.
Ограничения у результата существенные. Работа не предлагает mitigation, а описывает причинный аппарат и предел обнаружения для конкретного семейства признаков. Основные числа получены на пилоте с OLMoE-1B-7B; переносимость sign-inseparability между моделями показана, но выгода от clean-reference remedy зависит от архитектуры. Эксперимент с настоящим int4 KV-ядром дал совместимую оценку, однако 95%-й доверительный интервал [-0,111; 0,394] включает ноль — это не независимая полноценная репликация. Наконец, строгая проверка заявленного барьера чуть не достигла порога, поэтому речь идёт не о доказанной невозможности вообще, а об ограничении для проверенных локальных признаков.
Если вы строите систему автоматического ремонта инференса, что для вас опаснее: пропустить вредный route flip или откатить полезный? Источник: cs.AI updates on arXiv.org