CORU 15M V4
микро-LLM для экспериментов
1 мин чтения
CORU 15M V4 Prototype от RRR PRO MEX — decoder-only Transformer примерно на 15 млн параметров. Это не production-ready LLM, а компактный исследовательский прототип с PyTorch-чекпоинтом, SentencePiece-токенизатором и Gradio-демо для локального запуска.
Ключевые особенности
- Около 15 млн параметров: 10 слоёв, 8 голов внимания, d_model 320.
- Архитектура decoder-only с causal self-attention и SwiGLU feed-forward блоками.
- SentencePiece, словарь на 8 000 токенов; контекст в демо — 256 токенов.
- Чекпоинт ~69,7 МБ, есть app.py с собственной PyTorch-реализацией и Gradio-интерфейсом.
- Не plug-and-play AutoModel: загрузка идёт по логике из включённого кода; тренировочного пайплайна в релизе нет.
Пример
python -m pip install torch gradio "sentencepiece>=0.1.99"
python app.py
После запуска откройте локальный Gradio URL из терминала. Модель можно использовать для коротких генераций и учебных экспериментов, но не как готового ассистента.
Подробнее
Параметры: ~15M, контекст 256 токенов, словарь 8 000.Бенчмарков нет; карточка прямо предупреждает о повторах, неполных и неточных ответах.
Нет полного training pipeline, оригинального корпуса и логов обучения.
Лицензия Apache 2.0; для чувствительных задач нужны проверка вывода и человек в цикле.










Комментарии