IVERI-Hyperion-SLM
компактная языковая модель без классического self-attention
1 min readupdated
IVERI-Hyperion — экспериментальная базовая языковая модель размером 390M параметров от NishantIveri для генерации текста. Вместо стандартной архитектуры Transformer с квадратичным ростом потребления памяти она использует подход State-Space (модель пространства состояний), позволяющий удерживать контекст с расходом памяти O(1). Это решает проблему высоких затрат ресурсов при работе с длинными последовательностями. Модель подойдёт исследователям и энтузиастам, изучающим альтернативные компактные архитектуры.
Ключевые особенности
- Субквадратичное масштабирование: классический механизм self-attention заменён на state-space с удержанием памяти O(1).
- Entropy-Gated Selective State Units: выборочная фильтрация представлений токенов на основе локальной плотности информации.
- Байтовый уровень (Byte-Level): архитектура с ассоциативной памятью для моделирования последовательностей.
- Обучающий датасет: предобучена на смеси IVERI-ULTRA v1.0, включающей выборки FineWeb-Edu (Score >= 3.0) и FineMath-4+.
Что можно сделать
- Изучить поведение и скорость инференса альтернативной state-space архитектуры размером 390M параметров.
- Протестировать генерацию на образовательных текстах и базовых математических формулировках из доменов обучения.
- Использовать как компактную экспериментальную базу для дальнейшего дообучения (fine-tuning) под узкие задачи.
Пример
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('NishantIveri/IVERI-Hyperion-SLM')Подробнее
Параметры: 390M, лицензия Apache 2.0Validation Cross-Entropy Loss: 6.8241
Validation Perplexity: 919.73 (на невиданных образовательных текстах)
Скорость: ~6,324 токенов/сек на Google Cloud TPU v5e










Comments