CLIP почти не помог точнее находить денге у комаров по видео
Sh0ny
15 августа 20261 мин чтения
Коротко
Мультимодальная модель показала 98,54% точности при анализе отдельных кадров и идеальный результат после объединения данных по видео. Но главный вывод работы парадоксален: текстовые подсказки помогли связать изображение с биологическим смыслом, а не превзойти обычную vision-модель по точности.
Высокая точность здесь не означает, что модель уже умеет диагностировать денге в реальном мире. Она классифицирует поведение комаров на видео: заражён комар вирусом DENV2 или нет. И делает это по тому, как насекомое летает.
Задача непростая даже для человека: комары маленькие, двигаются быстро и хаотично, а фон, освещение и тени мешают выделить полезные признаки. Исследователи сначала используют YOLO, чтобы отделить комара от фона, а затем сравнивают визуальные признаки кадров с текстовыми описаниями биологически значимого поведения через CLIP.
На уровне отдельных кадров система получила 98,54% accuracy и 99,91% sensitivity. После объединения информации по времени, то есть на уровне целого видео, авторы сообщают о полном результате классификации.
Но именно здесь ломается привычная рекламная история про мультимодальность. В абляционном анализе текстовая ветка действительно помогала выровнять изображение и смысловое описание, однако не дала преимущества по точности перед моделью, работавшей только с визуальными признаками. Обязательными для этой задачи оказались fine-tuning и CLIP-представления, а не сам язык.
Ограничения важны. Речь идёт о классификации кадров и видео в рамках описанного эксперимента, а не о готовом полевом тесте для эпидемиологов. В источнике нет подробностей о размере и разнообразии набора данных, условиях съёмки, переносимости на другие виды комаров или серотипы вируса. Поэтому 98,54% — это результат конкретной экспериментальной постановки, а не гарантия работы в любой среде.
Практический вывод шире этой статьи: текст в vision-language модели не обязан повышать метрику, чтобы быть полезным. Иногда его настоящая роль — сделать визуальные признаки интерпретируемыми и связать их с понятными биологическими понятиями. Но если нужна именно точность, мультимодальность сама по себе её не обещает.
В задачах компьютерного зрения вы бы добавляли языковой слой ради прироста метрики или ради объяснимости результата? Источник: cs.AI updates on arXiv.org