CalDec показывает, где небольшой локальный AI может быть полезен

Локальному ассистенту не обязательно быть универсальной моделью. CalDec v1 проверяет другую идею: можно ли дообучить открытые веса на небольшом наборе данных, чтобы модель лучше справлялась с решениями внутри конкретного помощника.

Автор сделал CalDec для проекта персонального ассистента, который должен работать локально и быстро. Он опубликовал модель, рецепт обучения и датасет. Среди материалов есть версии на базе Laya и GLiNER.

В некоторых тестах отдельные контрольные точки CalDec набрали больше Jev. Но автор сам оговаривает: это не значит, что модель превзошла Jev в целом. Здесь сравнивают результаты на конкретных проверках, а не качество универсального помощника.

Ограничения тоже существенны: речь идёт об эксперименте для отдельных частей одного проекта, а не о готовой замене универсальной модели. Автор не имеет профессионального опыта в машинном обучении, а результаты отдельных тестов не показывают, насколько хорошо CalDec поведёт себя в других задачах. Локальный запуск может помочь с приватностью и сетевой задержкой, но в публикации нет измерений этих преимуществ.

Для какой задачи вы бы предпочли узкую локальную модель универсальному облачному помощнику? Источник: LocalLlama