Transformer-134M-BabiStories
базовая модель для архитектурных сравнений
2 мин чтенияобновлено
Эта небольшая исследовательская модель создана для изучения и сравнения архитектур в рамках проекта Memory Mosaics v2. Она обучена с нуля на датасете детских историй BabiStories без использования весов готовых больших моделей вроде Llama или Mistral, но с применением токенизатора от Mistral. Модель имеет размер 134 миллиона параметров и служит стандартом (Transformer baseline) для сопоставления с новой архитектурой Memory Mosaics. Она ориентирована на исследователей в области NLP, изучающих эффективность различных архитектурных подходов.
Ключевые особенности
- Архитектура: 12 слоев с шириной 768, использованием RMSNorm, causal self-attention с RoPE и SwiGLU FFN.
- Обучение с нуля: 15 502 шага (всего 127 миллионов токенов) с использованием оптимизатора AdamW в формате bf16.
- Метрики: финальная held-out loss (ошибка на валидации) составляет 1.7824, что позволяет сравнивать её с парной моделью Memory Mosaics v2.
- Эффективность: обучение модели заняло 21 минуту на одной видеокарте RTX 5090 при скорости около 102 883 токенов в секунду.
Что можно сделать
- Запустить генерацию текста: использовать скрипт загрузки для проверки продолжения промптов и генерации историй.
- Сравнить архитектуры: сопоставить скорость обучения, потребление VRAM и показатели loss с моделью Memory Mosaics v2.
- Исследовать базовые LLM: изучить поведение языковых моделей малой размерности, обученных на специализированных датасетах.
Пример
Запуск генерации текста с помощью скрипта из репозитория:
git clone [https://github.com/facebookresearch/MemoryMosaics](https://github.com/facebookresearch/MemoryMosaics)
git -C MemoryMosaics checkout c2ca0e88c5c89fc18a0a9465d6f7a1c3c8ea8faf
pip install torch safetensors tokenizers pyyaml huggingface_hub
wget [https://huggingface.co/Eureka-COM/Transformer-134M-BabiStories/resolve/main/load_and_generate.py](https://huggingface.co/Eureka-COM/Transformer-134M-BabiStories/resolve/main/load_and_generate.py)
python load_and_generate.py --upstream ./MemoryMosaics --repo Eureka-COM/Transformer-134M-BabiStories --prompt "Once upon a time, a little fox"Подробнее
Параметры: 134M (134 105 856)Контекст: 512 токенов, словарь 32 000
Потребление VRAM: пиковое значение 7.4 ГБ (PyTorch, batch 16 × 512)
Лицензия: Apache-2.0










Комментарии