Вопросы по фото

Для теста взяли три набора. CVQA — вопросы на русском про Россию: еда, мультфильмы, картины, известные люди, бренды. MMStar — визуальные головоломки. ChartQA — вопросы по графикам. Ещё модели описали 20 фотографий, а Claude оценил эти описания вручную по пятибалльной шкале, сверяясь с фото.

Угадай вместе с моделью

Вот несколько вопросов из CVQA с ответами моделей. Зелёным отмечен правильный вариант.

Кто изображен на картинке?

1. Старуха Шапокляк
2. Пикачу
3. Крокодил Гена
4. Чебурашка

✓ Qwen3-VL-2B✓ Qwen3-VL-4B✓ Qwen3-VL-8B✓ Qwen3.5-4B✓ Gemma 4 E4B✓ Gemma 4 26B✓ Qwen3.6-35B

Кто главные персонажи этого мультфильма?

1. Медведь и Пчела
2. Кот и Мышь
3. Кот и Пес
4. Волк и Заяц

✓ Qwen3-VL-2B✓ Qwen3-VL-4B✓ Qwen3-VL-8B✓ Qwen3.5-4B✗ Gemma 4 E4B✓ Gemma 4 26B✓ Qwen3.6-35B

Какой вулкан показан на изображении?

1. Ключевская сопка
2. Везувий
3. Эльбрус
4. Килиманджаро

✓ Qwen3-VL-2B✓ Qwen3-VL-4B✗ Qwen3-VL-8B✗ Qwen3.5-4B✗ Gemma 4 E4B

Какой поэт показан на изображении?

1. Пушкин
2. Лермонтов
3. Толстой
4. Грибоедов

✓ Qwen3-VL-2B✗ Qwen3-VL-4B✓ Qwen3-VL-8B✗ Qwen3.5-4B✓ Gemma 4 E4B✓ Gemma 4 26B✓ Qwen3.6-35B

Солистом какой группы является музыкант на изображении?

1. Сплин
2. ДДТ
3. Машина Времени
4. Король и Шут

✗ Qwen3-VL-2B✗ Qwen3-VL-4B✓ Qwen3-VL-8B✗ Qwen3.5-4B✗ Gemma 4 E4B✗ Gemma 4 26B✓ Qwen3.6-35B

Как неофициально называют транспортное средство на изображении?

1. Десятка
2. Тройка
3. Шестерка
4. Окушка

✗ Qwen3-VL-2B✗ Qwen3-VL-4B✓ Qwen3-VL-8B✗ Qwen3.5-4B✗ Gemma 4 E4B✗ Gemma 4 26B✗ Qwen3.6-35B

Чебурашку и «Ну, погоди!» узнают все. А вот солиста «Машины времени» или «шестёрку» Жигулей — только самая большая модель. Известные люди — вообще самое трудное.

Результаты

Из моделей, прогнанных на полном наборе, Qwen3-VL-8B лучше всех на «русских» вопросах, но разрыв небольшой: 4B-модели отстают на 6–7 пунктов, а на графиках даже чуть впереди. Большие Qwen3.6 и Gemma 26B — ниже, в истории с подвохом.

Описания фото

Попросили модели: «опиши фото в 2–3 предложениях по-русски, только то, что точно видно». Звёздочки — оценка Claude: точность, полнота, грамотность. Выдумки снижают балл сильнее, чем пропуски. Нажми на фото, чтобы увидеть его целиком.

Qwen3-VL-2B
★☆☆☆☆На фотографии изображён большой сэндвич, разделённый на две части. Внутри сэндвича видны слои: свежая зелёная капуста, тонкие ломтики копченого мяса, тонкие ломтики копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса, кусочки копченого мяса,

Qwen3-VL-4B
★★★★☆На фотографии изображён крупный сэндвич, разрезанный пополам, нарезанный на две части. Внутри видны слои: нижний — тонко нарезанный бекон, затем — толстый слой розового мяса (вероятно, бекон или ветчина), далее — тонкие ломтики курицы, сверху — салат, ломтики помидора и тонкие ломтики сыра. Сэндвич сделан на цельнозерновом хлебе.

Qwen3-VL-8B
★★★☆☆На фотографии — большой сэндвич, разрезанный пополам, с видимыми слоями: сверху — зелень и крабовые палочки, затем — ветчина, курица, бекон и рёбрышки. Сэндвич на тёмном хлебе, лежит на бумажной обёртке.

Qwen3.5-4B
★★★★☆На фотографии изображён разрезанный пополам сэндвич с тёмным хлебом, внутри которого видны слои куриного филе, копчёной колбасы и зелёного салата. Сверху на сэндвиче также заметны кусочки томатов и, возможно, сыра или другого ингредиента. Сэндвич расположен на белой бумаге с надписями, что указывает на его подачу в кафе или ресторане.

Gemma 4 E4B
★★★★☆На фотографии изображен большой сэндвич, состоящий из нескольких слоев хлеба и различных начинок. Видны слои мяса, овощей, а также зелень, покрывающая верхний слой. Сэндвич выглядит очень сытным и многослойным.

Qwen3.6-35B
★★★★★На фотографии изображён крупный сэндвич, разрезанный пополам и сложенный стопкой. В нём видны слои хлеба с хрустящей корочкой, тонко нарезанной ветчины, индейки, бекона, салата и помидоров. Сэндвич лежит на белой бумаге с надписями, вероятно, из ресторана или кафе.

Gemma 4 26B
★★★★★На фотографии изображен большой сэндвич, разрезанный пополам и сложенный друг на друга. Внутри видны слои мясных нарезок, салат, помидоры и соус между ломтиками поджаренного хлеба.

Qwen3-VL-2B
★★★★☆На фотографии изображена зелёная конвертируемая машина, похожая на Aston Martin, стоящая на зелёной траве. Вокруг неё находятся люди, которые рассматривают автомобили, и один из них стоит рядом с открытым капотом.

Qwen3-VL-4B
★★★★☆На фотографии изображён зелёный кабриолет Aston Martin, стоящий на траве на автомобильной выставке. Автомобиль имеет номерной знак YLV 581W и открытую переднюю дверь, а рядом с ним стоят люди, рассматривающие машины. На заднем плане видны другие автомобили и зелёные деревья под облачным небом.

Qwen3-VL-8B
★★★★☆На фотографии изображён зелёный классический автомобиль Aston Martin DB6 с открытым верхом, стоящий на траве на автомобильной выставке. Вокруг него находятся люди, осматривающие машины, а также другие автомобили, включая серебристый с открытым капотом.

Qwen3.5-4B
★★★☆☆На фотографии изображён зелёный классический автомобиль с открытым капотом, стоящий на траве на открытом воздухе. Рядом с ним находятся люди, которые осматривают другие автомобили, включая серебристый и красный. На заднем плане видны деревья и облачное небо, что указывает на то, что мероприятие проходит на природе.

Gemma 4 E4B
★★★★☆На фотографии изображен ярко-зеленый классический спортивный автомобиль, припаркованный на зеленой траве. Рядом с машиной видны люди, а на заднем плане — деревья и облачное небо.

Qwen3.6-35B
★★★★★На фотографии изображён зелёный классический кабриолет Aston Martin с открытым верхом, припаркованный на траве на автомобильной выставке. Вокруг него видны другие ретро-автомобили, включая серебристый с поднятым капотом, а также люди в летней одежде, осматривающие машины. На заднем плане — деревья и облачное небо, создающие атмосферу летнего дня на открытом воздухе.

Gemma 4 26B
★★★★☆На фотографии изображен классический спортивный автомобиль зеленого цвета, припаркованный на траве. Рядом с машиной стоят люди, а на заднем плане видны деревья и облачное небо.

Qwen3-VL-2B
★★☆☆☆На фотографии изображена собака, похожая на дельфина, с коричневой шерстью и характерными черными пятнами на морде. У неё большие уши, направленные вверх, и светлые глаза. Собака одета в серебряный ошейник и смотрит в сторону. Фон размыт, но видны зелёные и коричневые тона, что указывает на нахождение на открытом воздухе.

Qwen3-VL-4B
★★★★★На фотографии изображён собака породы доберман-пинчер, смотрящая в сторону. У неё коричневая шерсть, чёрные пятна вокруг глаз и на морде, а также светло-золотистые глаза. На шее видна серебристая цепочка.

Qwen3-VL-8B
★★★★☆На фотографии изображена собака, похожая на дога, с коричневой шерстью и выразительными ушами, повернувшая голову в сторону. У неё светло-жёлтые глаза и ошейник с цепочкой. Фон размыт, но видны признаки природной среды.

Qwen3.5-4B
★★★★☆На фотографии изображена собака породы дог с короткой шерстью, коричневым окрасом и чёрными отметинами на голове. У собаки стоячие уши, светлые глаза и она одета в серебристую цепную ошейник. Фон размыт, что акцентирует внимание на лице животного.

Gemma 4 E4B
★★★★☆На фотографии изображена собака с короткой шерстью, темно-коричневого цвета, которая смотрит в сторону. Собака находится на открытом воздухе, на фоне которого видны размытые деревья и растительность. На шее у животного виден ошейник с цепочкой.

Qwen3.6-35B
★★★★★На фотографии изображена собака породы доберман с коричневой шерстью и чёрной маской на морде. У неё стоячие уши, внимательный взгляд и на шее — металлическая цепочка. Фон размыт, но видны зелёные растения и светлые пятна, возможно, от солнца.

Gemma 4 26B
★★★★☆На фотографии крупным планом изображена голова собаки коричневого цвета с темной мордой. Животное смотрит в сторону, его уши стоят вертикально. Фон размыт.

Qwen3-VL-2B
★★☆☆☆На фотографии изображена зелёная пшеница, растущая в черном горшке. Листья растения имеют характерную форму с острыми зубцами и покрыты водяными каплями.

Qwen3-VL-4B
★★★★☆На фотографии изображена молодая растение с характерными зелёными листьями, имеющими пальчато-перистую форму с острыми концами. Листья покрыты мелкими каплями воды, и растение растёт в чёрном пластиковом горшке с почвой.

Qwen3-VL-8B
★★★★★На фотографии изображена зелёная растение с характерными перистыми листьями, похожими на коноплю, растущее в чёрном горшке с землёй. Видны капли воды на листьях, а на заднем плане — светлый фон, возможно, стена или пол.

Qwen3.5-4B
★★★★☆На фотографии изображена комнатная растение с длинными зелёными листьями, растущее в тёмном горшке. Листья имеют характерную форму с множеством узких сегментов и расположены на тонких стеблях. Растение находится в помещении, на фоне видны другие элементы интерьера.

Gemma 4 E4B
★★★★★На фотографии изображено растение с густой зеленой листвой, напоминающей листья конопли. Листья имеют характерную, сильно рассеченную форму. Растение растет в темном горшке.

Qwen3.6-35B
★★★★☆На фотографии изображено зелёное растение с характерными пальчатыми листьями, растущее в чёрном пластиковом горшке. На листьях видны капли воды, а на некоторых ветвях — небольшие соцветия или бутоны. Растение находится в помещении, на светлом фоне, возможно, у окна.

Gemma 4 26B
★★★★☆На фотографии изображено зеленое растение с характерными резными листьями, растущее в черном горшке с землей. Листья растения имеют заостренные края и расположены на стеблях.

Qwen3-VL-2B
★★☆☆☆На фотографии изображён белый пантера, стоящий на задних лапах и смотрящий вверх. Его морда приоткрыта, и он выглядит как будто кричит или шепчет. Фоном служит искусственная скала светло-голубого цвета, а внизу видна темная дверь.

Qwen3-VL-4B
★★★★★На фотографии изображён белый медведь, стоящий на задних лапах и подняв голову, с открытым ртом. Его шерсть светло-бежевого цвета, а фон представляет собой искусственную скалу голубоватого оттенка.

Qwen3-VL-8B
★★★★★На фотографии изображён белый медведь, стоящий на задних лапах и поднявший голову вверх. Он находится перед стеной, имитирующей ледяную поверхность, с видимым входом внизу слева.

Qwen3.5-4B
★★★★★На фотографии изображена белая медведица, стоящая на задних лапах и смотрящая вверх с открытым ртом. Её шерсть светлая, а фон представляет собой искусственную скальную конструкцию голубого цвета. Медведица находится в помещении или в зоне с имитацией льда и скал.

Gemma 4 E4B
★★★★★На фотографии изображен белый медведь, сидящий на фоне светлой, текстурированной стены. Медведь смотрит вперед, его пасть слегка приоткрыта. Он выглядит крупным и пушистым.

Qwen3.6-35B
★★★★★На фотографии изображён белый медведь, стоящий на задних лапах перед искусственной скалой голубовато-белого цвета. Его пасть приоткрыта, видны зубы и язык, голова слегка запрокинута вверх. Медведь смотрит вверх, его шерсть светлая, местами с желтоватым оттенком, особенно на спине и боках.

Gemma 4 26B
★★★★★На фотографии изображен белый медведь, стоящий на задних лапах. Его голова приподнята вверх, а пасть приоткрыта. Медведь находится на фоне светлой текстурированной стены.

Qwen3-VL-2B
★★☆☆☆На фотографии изображены несколько птиц, вероятно, курицы и курица, на земле с камнями и листьями. Один из куриц, с красным клювом и красным клювом, стоит на земле, а другой, с черным клювом, стоит на камнях.

Qwen3-VL-4B
★★★☆☆На фотографии изображены несколько кур, включая одну крупную коричневую курицу и несколько петухов, среди которых один с чёрной и красной окраской. Птицы находятся на земле, покрытой листьями и травой, на фоне каменных обломков и зарослей.

Qwen3-VL-8B
★★★★★На фотографии изображены несколько кур и один петух, идущие по земле среди камней и растительности. Основной объект — коричневая курица с красным гребнем — находится в центре кадра, а петух с чёрно-красными перьями виден позади неё.

Qwen3.5-4B
★★★★★На фотографии изображены три птицы: две курицы и один петух, гуляющие по земле среди камней и растительности. У петуха ярко-красная гребешок и чёрные перья на хвосте, а курицы имеют рыжевато-коричневое оперение. На заднем плане видны камни и зелёные растения, что указывает на природную или сельскую среду обитания.

Gemma 4 E4B
★★★☆☆На фотографии изображены две курицы на грунтовой площадке, окруженной растительностью и земляными насыпями. Одна курица, рыже-коричневого окраса, находится слева, а другая, с темным и красноватым оперением, — справа. Вокруг них видна сухая листва и зелень.

Qwen3.6-35B
★★★☆☆На фотографии изображены три курицы на земле, покрытой листвой и травой. Одна курица с рыже-белым оперением стоит в центре, другая — с чёрно-рыжим хвостом и красным гребнем — находится позади неё, а третья видна частично справа. На заднем плане видны камни и зелёная растительность.

Gemma 4 26B
★★★☆☆На фотографии изображены три курицы, находящиеся на земле среди камней, травы и сухих листьев. Одна курица коричневого цвета стоит на переднем плане слева, вторая — черно-красного окраса — находится в центре, а третья видна частично с правого края.

• Qwen3-VL-4B — самые аккуратные описания (4.55). Читает даже номер машины.
• Qwen3.5-4B — самые подробные (4.35), но иногда путает род («комнатная растение») и придумывает мелочи вроде открытого капота у машины с закрытым.
• Qwen3-VL-8B — точный в деталях, но мелкие выдумки есть и у него: помидор принял за «крабовые палочки».
• Gemma 4 E4B — грамотно и осторожно («похожая на тукана»), но беднее деталями: петуха называет курицей.
• Qwen3-VL-2B — тут начинается цирк: собака «похожа на дельфина», белый медведь — «белая пантера», конопля — «пшеница», а бутерброд он описывает как «кусочки копчёного мяса» десять раз подряд.

Что в итоге

• Для дома — описать снимок с камеры, ответить на вопрос по фото, прочитать график — хватает 4B-моделей: около 20 секунд на фото.
• Для Immich описания не нужны. Поиск по фото уже работает через SigLIP2 (см. поиск по фото). Прогнать 50 тысяч фото через VLM по 20 секунд — это больше 10 суток работы iGPU.
• Большие фото надо уменьшать. Без лимита фото с телефона превращается в 8 тысяч визуальных токенов и минуты ожидания. Мы ограничили 1024 токенами.

Большие модели: история с подвохом

В первом прогоне Gemma 4 (E4B и 26B) и Qwen3.6-35B выдавали мусор: <unused2154>, «de de de», «1111», а на вопросы отвечали всегда одной буквой. Разбирались несколько заходов:

1. Gemma 4 E4B ломал лимит --image-max-tokens. Без него она отвечает нормально и оказалась самой быстрой: 8.8 секунды на фото. По «русским» вопросам она на уровне Qwen3-VL-2B, на графиках и головоломках слабее всех Qwen. Зато описывает фото хорошо (4.25): грамотно, читает надписи и не выдумывает лишнего.
2. Qwen3.6-35B и Gemma 4 26B оказались капризнее. Им тоже нельзя ставить лимит, поэтому фото пришлось заранее уменьшить. Gemma 26B нужно ровно 12K контекста: на 8K мусор, на 16K не хватает памяти.
3. Но и это не помогло: через 3–20 вопросов сервер залипал на одной букве до самого конца. Перезапуск сервера каждые 6 вопросов помог лишь отчасти — иногда сервер «ломался» с первого же вопроса.
4. Разгадка — в логе: «the CLIP graph uses unsupported operators by the backend». Визуальный энкодер этих моделей на Vulkan работает с ошибками. Перенесли его на CPU (--no-mmproj-offload), и всё стало стабильно.

На одних и тех же 60 вопросах Qwen3.6-35B — лучшая (73%), а Gemma 4 26B — вровень с Qwen3-VL-8B (70%). Описания у них тоже лучшие: 4.6 и 4.55. Qwen3.6 пишет подробнее всех и читает даже мелкие надписи вроде «Civic Coalition of Revolutionary Youth» на баннере. Но с энкодером на CPU это ~52 секунды на вопрос и все 20 ГБ памяти.