Qwen3.5-4B
компактная мультимодалка с контекстом до 1 млн токенов
2 мин чтенияобновлено
Qwen3.5-4B — мультимодальная LLM (языковая модель с визуальным энкодером) от Qwen: принимает текст и изображения, а на выходе даёт текстовые ответы, рассуждения, код и разбор картинок. Она построена на базе Qwen3.5-4B-Base и относится к новому поколению Qwen3.5. По карточке, единое vision-language обучение с early fusion даёт паритет с Qwen3 и превосходит Qwen3-VL в reasoning, coding, agents и visual understanding. Архитектура гибридная — Gated DeltaNet плюс разреженный Mixture-of-Experts, с акцентом на высокую пропускную способность и низкую задержку. Заявлены 201 язык и диалект, нативный контекст 262 144 токена с расширением до 1 010 000. Пригодится для мультимодальных ботов, агентов, анализа документов и скриншотов.
Ключевые особенности
- Единая vision-language модель: early fusion на мультимодальных токенах, паритет с Qwen3 и лучше Qwen3-VL на ряде бенчмарков.
- Гибридная архитектура Gated DeltaNet + sparse MoE для быстрого инференса с низкой задержкой.
- Поддержка 201 языка и диалекта.
- Контекст 262 144 токена нативно, расширяется до 1 010 000.
- RL масштабировали на среды с миллионами агентов — заявлена устойчивость к реальным задачам.
Что можно сделать
- Собрать мультимодального Telegram-бота: он принимает фото или скриншот и отвечает текстом, например разбирает интерфейс или таблицу.
- Запустить агента для кода в vLLM, SGLang или Transformers: генерация, ревью и объяснение кода с опорой на изображения.
- Анализировать длинные PDF, логи и переписки в пределах 262K контекста.
- Сделать многоязычного ассистента для 201 языка и диалекта.
Пример
Промпт: «Опиши, что не так на этом скриншоте интерфейса, и предложи исправления». На выходе — текстовый разбор изображения и список правок. Модель также можно попросить объяснить код на скриншоте или сверить данные в таблице.
Подробнее
ПодробнееMMLU-Pro — 79.1, GPQA Diamond — 76.2, IFEval — 89.8, LongBench v2 — 50.0.
4B параметров, 32 слоя, hidden size 2560; нативный контекст 262 144 токена, расширяется до 1 010 000.
Совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.
Требования к VRAM в карточке не указаны.










Комментарии