NAS как ИИ-сервер

Что получилось

Каждая карточка — отдельная страница с графиками, примерами и выводами. Значок показывает, насколько NAS справляется с задачей.

Сколько ждать

Главное ограничение такого железа — не «умеет или нет», а «сколько секунд». Вот сколько занимает каждая задача с моделями, которые мы выбрали:

Всё, что меньше пары секунд, ощущается мгновенно. 10–25 секунд — нормально для «загрузил скан и пошёл ставить чайник», но для живого разговора уже долговато.

Что в итоге поставить

Шесть главных уроков

1. Рантайм важнее модели. Одна и та же whisper на одном и том же iGPU работает в 3.3 раза быстрее через OpenVINO, чем через whisper.cpp. Прежде чем искать модель побыстрее, стоит попробовать другой движок.
2. MoE-модели — король встроенной графики. У Qwen3.6-35B 35 миллиардов параметров, но на каждый токен работают только 3. Получается умнее и в 3–4 раза быстрее плотных 24B-моделей.
3. Русский язык — отдельный квест. Модель поиска по умолчанию в Immich не понимает русских запросов, OCR по умолчанию не знает кириллицы, а половина синтезаторов речи ставит ударения наугад. Везде есть хорошая замена, но её надо знать.
4. В голосовом ассистенте тормозит LLM, а не распознавание или синтез: 6–8 секунд из 10.
5. Vulkan на встроенной графике — не панацея. LLM на нём летают, а вот диффузионные модели рисуют шум, и визуальные энкодеры больших моделей сбоят. Выручает второй путь к той же графике — SYCL — или перенос капризной части на CPU.
6. Флаги решают. --cache-ram 0 убирает 10 лишних секунд с каждого запроса, [0-9] вместо \d даёт 100% валидного JSON, а без --swa-full Gemma 4 вешает видеокарту. Все такие грабли собраны на странице «Как мерили».