BabyLM Dense Baseline
компактная языковая модель для исследований
2 мин чтенияобновлено
Модель BabyLM Dense Baseline на 47 миллионов параметров создана для исследований в области обучения языковых моделей на ограниченных объемах текста. На выходе она выдает продолжение текста или может использоваться для оценки вероятностей с помощью встроенного метода маскированного предсказания. Архитектура основана на 10 независимых декодерных блоках с ротационными позиционными эмбеддингами и пре-RMS нормализацией. Модель отличается смешанной стратегией обучения на казуальной и маскированной языковой генерации и служит базовой точкой отсчета для будущих архитектурных экспериментов. Она пригодится исследователям и разработчикам, изучающим эффективное обучение нейросетей на небольших корпусах данных.
Ключевые особенности
- 47 миллионов параметров и компактный размер для быстрого запуска
- Обучение на английском корпусе BabyLM Strict-Small объемом 10 миллионов слов
- Использование казуального предикта и маскированного предсказания следующего токена (MNTP)
- Совместимость со стандартной реализацией Llama в библиотеке transformers
Что можно сделать
- Запустить генерацию текста на основе короткого английского промпта
- Использовать встроенный хелпер для расчета лог-вероятностей маскированных токенов
- Провести собственные исследования по обучению моделей на ограниченных текстах
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "AwakeningOS/babylm-dense-baseline-47m"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo).eval()
prompt = [tok.bos_token_id] + tok.encode("When the rain stopped,", add_special_tokens=False)
ids = torch.tensor([prompt])
with torch.inference_mode():
out = model.generate(ids, attention_mask=torch.ones_like(ids),
max_new_tokens=20, do_sample=False)
print(tok.decode(out[0].tolist(), skip_special_tokens=True))
Подробнее
Результат BabyLM NLP average: 52.7745Среднее по шести zero-shot наборам: 50.8106
Среднее по семи супервизируемым задачам: 64.5581
Детали: использована архитектура с шириной блоков 384 и слоями SwiGLU, токенизатор Unigram на 32768 элементов.










Комментарии