Rambley-V2-Next-50M
сверхлёгкая языковая модель на 50M параметров
2 мин чтенияобновлено
Rambley-V2-Next-50M — это сверхкомпактная SLM (малая языковая модель) от автора glossia, которая насчитывает всего 49,7 млн параметров и продолжает базовую версию glossia/Rambley-V2-Next-50M-Pretrain. Модель прошла предварительное обучение на новом расширенном миксе данных ClimbMix и этап midtraining (промежуточного дообучения) на его увеличенной версии. Несмотря на крошечный объём, она использует свежие архитектурные решения 2025–2026 годов и занимает 1-е место в рейтинге glossia SLM leaderboard среди моделей до 50M параметров, а также 3-е место в AxiomicLabs Open SLM Leaderboard. Она отлично подойдёт исследователям компактных архитектур, энтузиастам локального запуска на слабом железе и в качестве базы для дальнейшего дообучения.
Ключевые особенности
- Современный архитектурный стек: использует Virtual Head Attention (32 виртуальные и 8 физических голов запросов), поглавное вентилирование (headwise gated attention) для экономии параметров, обучаемые attention sinks и гибридную схему слоёв SWA:SWA:GQA со скользящим окном 128.
- Эффективное обучение: модель нативно обучалась в формате
FP8с применением оптимизатора Muon (с ограничениями нормы весов Hyperball) для матриц, AdamW для эмбеддингов, планировщика AIR и патч-уровневого претрейна на 60% бюджета токенов. - Контекст и позиционирование: поддерживает нативную длину контекста 2048 токенов с позиционными эмбеддингами HoPE на всех слоях и архитектурой Identity Hyperconnections.
- Фокус данных: обучение велось на кластерах 2, 6, 12 и 15 датасета ClimbMix — без математического кластера и большинства STEM-направлений.
Что можно сделать
- Исследовать компактные LLM: изучить на практике влияние Virtual Head Attention, HoPE и оптимизатора Muon на качество сверхмалых моделей.
- Дообучить под узкую задачу: использовать чекпоинт как лёгкую и быструю базу для файнтюнинга под классификацию, автодополнение или работу с коротким контекстом до 2048 токенов.
- Запускать на минимальных ресурсах: применять в экспериментах с высокой пропускной способностью инференса, где критична скорость генерации и минимальный расход памяти.
Пример
В карточке приведён замер скорости и точности на бенчмарке arithmark-3 (1000 примеров начальной школьной математики): модель в формате torch.bfloat16 обрабатывает 674,7 примера в секунду (0,24 с на токенизацию и 1,48 с на оценку) и показывает 100% точность в задачах на определение времени (grades 2–3) и 71,15% (acc_norm) в задачах на площадь фигур (grades 4–5), несмотря на исключение STEM-кластеров при обучении.
Подробнее
Бенчмарки (0-shot, acc_norm): PIQA — 63,76%, ARC-Easy — 44,99%, HellaSwag — 32,81%, ARC-Challenge — 25,77%, arithmark-3 — 34,90%.Параметры: 49 718 600 (torch.bfloat16), нативное обучение в FP8, контекст — 2048 токенов.
Ограничения: при обучении исключены математический и большинство STEM-кластеров ClimbMix.










Комментарии