DFM-Mimir-v1.8-Mini
компактная мультиязычная модель на архитектуре HRM-Text
2 мин чтенияобновлено
DFM-Mimir-v1.8-Mini — компактная языковая модель для генерации текста (703,6 млн параметров) от проекта Danish Foundation Models. В отличие от стандартных трансформеров, она построена на архитектуре HRM-Text, которая использует иерархические рекуррентные вычисления и цель обучения PrefixLM (режим, сочетающий двунаправленный контекст для префикса и авторегрессионную генерацию). Модель обучена на смеси данных DFM15 (MTC v1.8), включая материалы DBC/Lex.dk, и протестирована на 50 языках. Подойдёт исследователям нестандартных рекуррентных архитектур и разработчикам, которым нужна лёгкая мультиязычная модель под открытой лицензией Apache-2.0.
Ключевые особенности
- Архитектура HRM-Text: конфигурация с параметрами H=2, L=3, полным токенизатором Gemma на 262 144 токена и отключённым режимом рассуждений (thinking).
- Контекст и веса: базовая длина контекста составляет 4 096 токенов (при переопределении параметров для оценки используется до 8 192), веса выложены в формате BF16 (финальный EMA-чекпоинт 3-й эпохи, шаг 1 538 766).
- Оценка на 50 языках: модель прошла проверку по 396 метрикам на 50 языках, а также включает результаты бенчмарка EuroEval (zero-shot и few-shot).
- Специальный рантайм: для запуска требуется среда с поддержкой HRM и PrefixLM (в тестах использовались модифицированные Transformers 5.17.0 и vLLM 0.31.0).
Что можно сделать
- Изучить и протестировать HRM-Text: развернуть локальный OpenAI-совместимый API-сервер через vLLM для экспериментов с иерархической рекуррентной генерацией.
- Решать мультиязычные текстовые задачи: использовать модель для генерации и обработки текстов на европейских и других языках из набора оценки (50 языков, включая датский и английский).
- Проводить сравнительные бенчмарки: воспроизвести протоколы EuroEval или сверить поведение модели с результатами из приложенных отчётов
evaluation_results.json.
Пример
python -m vllm.entrypoints.openai.api_server \
--model ./DFM-Mimir-v1.8-Mini \
--tokenizer ./DFM-Mimir-v1.8-Mini \
--served-model-name danish-foundation-models/DFM-Mimir-v1.8-Mini \
--chat-template ./DFM-Mimir-v1.8-Mini/chat_template.jinja \
--host 127.0.0.1 --port 8200 \
--attention-backend FLASH_ATTN --max-model-len 8192Подробнее
Средний балл по 396 метрикам на 50 языках — 66.0075 (66.3236 без учёта английского и датского), победа по среднему баллу в 33 из 50 языков относительно чекпоинта на шаге 1 500 000.Обычные сборки Transformers и vLLM без поддержки HRM не подойдут; автозагрузка remote-code в репозитории отсутствует.
При запуске важно сохранять параметр
fix_mistral_regex=false, чтобы не нарушить токенизацию.Лицензия на веса — Apache-2.0 (условия использования токенизатора Gemma действуют отдельно).










Комментарии