Rill-51M-A25M
сверхкомпактная гибридная языковая модель
2 мин чтенияобновлено
Rill-51M-A25M Instruct — это экспериментальная англоязычная LLM (большая языковая модель) размером всего 51,5 млн параметров от автора brulee-1, дообученная для ведения диалогов и ответов на инструкции. В её основе лежит нестандартная гибридная архитектура на базе Rill-51M-A25M-Base, сочетающая рекуррентные слои Gated DeltaNet-2, механизм внимания GQA и разреженную систему экспертов MoE (активируется только часть параметров на каждый токен — около 25 млн). В отличие от тяжёлых моделей, она мгновенно запускается локально даже на обычном CPU или Apple Silicon без зависимости от библиотеки transformers. Подойдёт исследователям и энтузиастам, которым интересен разбор современных гибридных архитектур и тестирование сверхмалых моделей.
Ключевые особенности
- Гибридная архитектура: 12 слоёв, где 9 блоков Gated DeltaNet-2 чередуются с 3 блоками внимания GQA (Grouped-Query Attention), а за обработку признаков отвечает MoE из 8 маршрутизируемых и 1 общего эксперта.
- Экономия вычислений: из 51,52 млн общих параметров на каждый токен задействуются только 24,98 млн (выбираются топ-2 эксперта).
- Обучение с учётом квантования (QAT): ещё на этапе обучения симулировались форматы NVFP4 для экспертов и FP8 для внимания, что сохраняет точность при сжатии.
- Автономный запуск: в репозиторий встроен готовый скрипт
inference.py, требующий только базовыеtorch,safetensorsиtokenizers.
Что можно сделать
- Изучить гибридные архитектуры: разобрать на практике совместную работу линейной рекуррентности (DeltaNet) и классического KV-кэша в компактном коде.
- Запустить локальный CLI-чат: протестировать диалоги в терминале на слабом ноутбуке с CPU, видеокарте с CUDA или Mac на Apple MPS.
- Проверить пайплайны дообучения: использовать модель как лёгкий стенд для экспериментов с SFT (обучением на инструкциях) и квантованием.
Пример
python -m pip install torch safetensors tokenizers
python inference.py --prompt "Give three tips for staying healthy." --max-new-tokens 128
Подробнее
Бенчмарки (0-shot): среднее по 8 задачам — 37.83% (+1.08 п.п. к Base), BoolQ — 58.47%, PIQA — 58.27%, MMLU — 23.00%.Обучение: база предобучена с нуля на 2 млрд токенов (FineWeb-Edu + FineWeb) за ~5.4 часа на 1× RTX 5090, затем дообучена на 19 350 диалогах из Dolly-15k и OpenAssistant oasst2.
Требования и контекст: длина контекста 4096 токенов, веса в BF16, работает на CUDA, Apple MPS и CPU.
Ограничения: только английский язык; из-за сверхмалого размера склонна к галлюцинациям и повторам, не предназначена для продакшена.










Комментарии