Qwen-Image-2.1 запускается на Mac с 16 ГБ, но медленно

Запустить Qwen-Image-2.1 на MacBook Air с 16 ГБ памяти можно, но комфортной работы это не обещает. В тесте генерация 1024 × 1024 заняла около 45 секунд на шаг, и система задействовала сжатие памяти с выгрузкой на SSD.

Весь подвох в цифре 18,33 ГБ пиковой памяти MLX. В MacBook физически 16 ГБ, но macOS умеет сжимать данные и выгружать их на SSD. Модель продолжает работать, правда, цена такого запуска измеряется временем. Интерактивно подбирать промпты будет мучительно, а вот поставить задачи в очередь и вернуться позже, вполне реально.

Для Apple Silicon в статье предлагают MLX-сборку, для других систем есть вариант GGUF с ComfyUI. На Mac особенно важен режим --low-ram: он выгружает текстовый энкодер после обработки промпта и использует tiled VAE decode. В тесте на M1 Max пиковая память при 768 × 768 снизилась с 33-36 ГБ примерно до 7 ГБ. Это другой компьютер, но хорошо показывает, насколько режим экономии памяти меняет картину.

Есть и практическая оговорка для тех, кому важны права на результат. Qwen-Image-2.1 распространяется по Qwen Research License, которая ограничивает коммерческое использование. Для более быстрого запуска существуют distilled-модели на 4-8 шагов, но автор отмечает потерю качества в сложном редактировании и композициях с несколькими референсами.

Ограничения теста существенные. Проверялась генерация, а редактирование с несколькими референсами на 16-гигабайтном Mac автор не тестировал. В 4-битном результате повторялась текстура шерсти, дальние вывески получились нечитаемыми, а архитектура теряла точность при увеличении. Сборка без safety checker также оставляет больше ответственности за содержание генерации пользователю.

Вы бы стали ждать генерацию на таком Mac ради приватности и локального контроля, или выбрали бы облачный сервис ради скорости?

Источник: Все статьи подряд / Машинное обучение / Хабр