Kimi-VL-A3B-Thinking-2506
компактная VLM с рассуждениями и поддержкой видео
2 min read
Обновлённая мультимодальная модель от Moonshot AI (перезалитая в репозиторий technicallyAnnoyed) объёмом 16.41 млрд параметров на базе Kimi-VL-A3B-Instruct. Она умеет анализировать изображения, видео и длинные документы, выдавая перед ответом пошаговую цепочку рассуждений в специальных тегах. По сравнению с прошлой версией Kimi-VL-A3B-Thinking модель стала заметно точнее в математике и визуальной логике, но при этом тратит на 20% меньше токенов на размышления. Пригодится разработчикам, которым нужен лёгкий мультимодальный движок для сложных визуальных задач, разбора экранов и документов без запуска тяжёлых моделей на 30–70B параметров.
Ключевые особенности
- Сокращённая на 20% длина рассуждений при заметном росте точности в мультимодальной математике и логике.
- Поддержка высокого разрешения — до 3.2 млн пикселей на одно изображение (в 4 раза больше, чем у предыдущей версии).
- Улучшенное понимание и анализ видеороликов — 65.2 на бенчмарке VideoMMMU и 71.9 на Video-MME.
- Сильные навыки работы с интерфейсами и длинными документами (52.8 на ScreenSpot-Pro и 42.1 на MMLongBench-DOC).
Что можно сделать
- Собрать ИИ-агента для навигации по экрану ПК или смартфона и поиска элементов интерфейса (задача OS-agent grounding).
- Автоматизировать извлечение данных и ответы на вопросы по многостраничным PDF-документам и сложным схемам.
- Использовать в образовательных ботах и сервисах для пошагового решения математических и научных задач по фото или видео.
Пример
from vllm import LLM, SamplingParams
from transformers import AutoProcessor
llm = LLM("moonshotai/Kimi-VL-A3B-Thinking-2506", trust_remote_code=True, max_model_len=131072)
processor = AutoProcessor.from_pretrained("moonshotai/Kimi-VL-A3B-Thinking-2506", trust_remote_code=True)
params = SamplingParams(max_tokens=32768, temperature=0.8)
outputs = llm.generate([{"prompt": text, "multi_modal_data": {"image": image}}], sampling_params=params)Подробнее
Бенчмарки: MathVista_MINI — 80.1, MATH-Vision — 56.9, MMBench-EN-v1.1 — 84.4, OCRBench — 869, MMLU — 82.0.Для запуска авторы рекомендуют vLLM (v0.9.1) с обязательной установкой flash-attn во избежание нехватки памяти CUDA.
Окружение для Transformers: Python 3.10, torch >= 2.1.0, transformers 4.48.2; контекст до 131 072 токенов, генерация до 32 768 токенов.
В коде примера от авторов указан путь на оригинальный репозиторий moonshotai/Kimi-VL-A3B-Thinking-2506.










Comments