Rambley-V3-50M
ультракомпактная экспериментальная языковая модель
1 мин чтенияобновлено
Rambley-V3-50M от автора glossia представляет собой языковую модель (LLM) с архитектурой объёмом около 50 миллионов параметров, обученную с нуля на датасете объёмом около 36B токенов. Модель вобрала в себя множество передовых архитектурных решений, включая виртуальное внимание (Virtual Head Attention), скользящее окно внимания (SWA), позиционные эмбеддинги HoPE и оптимизатор Muon. Она предназначена для исследовательских целей и экспериментов с миниатюрными нейросетевыми архитектурами, объединяя современные наработки индустрии.
Ключевые особенности
- Нативное обучение в формате BF16 для максимальной стабильности процесса.
- Использование современных оптимизаторов Muon и AdamW с планировщиком AIR LR.
- Применение Virtual Head Attention и Headwise gated attention для экономии параметров.
- Использование механизма Identity Hyperconnections и обученных токенов внимания (attention sinks).
Что можно сделать
- Запустить претрейн-кодовую базу модели для изучения кастомных архитектурных пайплайнов.
- Исследовать поведение ультрамаленьких LLM с навороченными механизмами внимания и оптимизации.
Пример
Модель поставляется без готового инференс-скрипта в карточке, но доступна для работы через стандартные библиотеки Hugging Face с использованием репозитория претрейна автора.
Подробнее
Параметры: ~50M (~49.7M)Датасет: ~36B токенов
Контекст: до 2048 токенов
Основные бенчмарки: ARC-Challenge (acc 0.2116), Hellaswag (acc 0.3021), PIQA (acc 0.6496)










Комментарии