EmbeddingGemma 2 обещает мультимодальный поиск на телефоне

Поиск по видео с обычным текстовым запросом может работать прямо на телефоне. Google заявляет, что EmbeddingGemma 2 переводит текст, изображения, видео и аудио в общее пространство векторов. Здесь ставка не на генерацию ответов, а на поиск совпадений между разными типами данных.

У модели общее 768-мерное пространство. Это позволяет, например, сопоставить текстовый запрос с видео. Практический смысл понятен: личные файлы можно искать локально, не отправляя их на сервер.

Размер выглядит подходящим для такого сценария. По данным Google, текстовая часть занимает около 191 МБ оперативной памяти на Pixel 11 Pro, а полная мультимодальная версия около 567 МБ. Это оценка для конкретного устройства, а не обещание одинаковой скорости на любом телефоне.

Ограничение в доступном описании существенное: в нём нет результатов тестов качества поиска и сравнения с другими моделями. Неясно и то, как модель справляется с разными языками и сложными запросами. Компактность позволяет запускать модель на устройстве, но сама по себе не говорит, насколько хорошо она найдёт нужный фрагмент.

Для вас важнее искать по личным фото и видео без отправки в облако или получать максимально точные результаты, даже если обработка идёт на сервере? Источник: Все статьи подряд / Машинное обучение / Хабр