Mir
кодовая модель со скрытым рассуждением через Concept-JEPA
2 min readupdated
Экспериментальная открытая модель от afternet, которая объединяет модуль рассуждения в пространстве концептов MirJEPA (300M параметров) с языковой моделью Qwen2.5-Coder-1.5B-Instruct через специальный мост (soft-prompt bridge) и LoRA-адаптацию (небольшую надстройку над весами). Вместо того чтобы сразу генерировать текст токен за токеном, система сначала кодирует предложения через BAAI/bge-small-en-v1.5 и делает 3 шага скрытого рассуждения в латентном пространстве, передавая результат декодеру в виде 8 обучаемых подсказок. На практике это позволяет компактной 1.5B-модели гораздо точнее решать задачи по программированию — на тесте Rust HumanEval результат вырос с 15.4% до 40.4% при меньшей задержке декодирования. Подойдёт исследователям латентных рассуждений (JEPA) и разработчикам, ищущим лёгкие локальные модели для генерации кода.
Ключевые особенности
- Гибридная архитектура: связка замороженного энкодера
BAAI/bge-small-en-v1.5, трансформераMirJEPA(~295.45M обучаемых параметров) и декодераQwen2.5-Coder-1.5B-Instructвbfloat16. - Рассуждение до генерации: предиктор делает 3 последовательных шага в пространстве концептов (всего 12.27 мс на инференсе), после чего кросс-внимание формирует 8 soft-prompt токенов для языковой модели.
- Двухэтапное обучение: сначала предобучение JEPA на 482 100 примерах из наборов Magicoder, CodeFeedback и smoltalk, затем настройка моста и LoRA (
r=16, alpha=32) на 80 000 примерах. - Прирост качества и скорости ответа: на 156 задачах Rust HumanEval модель обходит базовую
Qwen2.5-Coder-1.5B-Instructболее чем в 2.6 раза (63 решённых задачи против 24) и сокращает время декодирования с 2795.60 мс до 2320.47 мс.
Что можно сделать
- Запустить локальный интерактивный чат-помощник для написания и отладки кода на видеокарте уровня ноутбучной RTX 5070.
- Использовать чекпоинты как базу для экспериментов с архитектурой JEPA и переносом рассуждений из пространства эмбеддингов в компактные LLM.
- Прогнать собственные тесты генерации кода на других языках через встроенный скрипт бенчмаркинга
bench_mir.py.
Пример
pip install -r requirements.txt
# Поместите чекпоинты afternet/mir-beta-0.1 в ./checkpoints/mir
python chat_mir.py --jepa_size 300m
python bench_mir.py --lang rust --limit 156
Подробнее
Бенчмарк Rust HumanEval (156 задач, greedy Pass@1): 40.4% (63/156) против 15.4% (24/156) у стоковой Qwen2.5-Coder-1.5B-Instruct.Скорость на NVIDIA GeForce RTX 5070 Laptop GPU: 90.2 tok/s, задержка JEPA — 12.27 мс, декодирование — 2320.47 мс.
Обучение велось на примерах длиной от 4 до 32 предложений; на этапе оценки веса LoRA слиты с базовым декодером.










Comments