Tree-gram generators
семейство авторегрессионных генераторов текста
2 мин чтения
Набор компактных авторегрессионных моделей (предсказывающих следующий токен по предыдущим) от автора hugs-from-a-25 для генерации синтетических текстовых корпусов. В основе лежит архитектура tree-gram — иерархическая структура, которая оценивает следующий токен на основе окна из n - 1 предыдущих токенов. В репозиторий включены 30 вариантов моделей с разной длиной контекста (от 1 до 31 токена) и шириной слоя d (от 64 до 1024), обученных на трёх известных датасетах: TinyStories, WikiText-103 и FineWeb-Edu. Инструмент пригодится исследователям и разработчикам для быстрого сэмплирования синтетических текстов, изучения масштабирования контекста и экспериментов с простыми генеративными моделями без тяжеловесных LLM.
Ключевые особенности
- 30 готовых вариантов: по 10 конфигураций для каждого из трёх доменов (TinyStories, WikiText-103 и FineWeb-Edu) с разной глубиной контекста и размерностью.
- Минимальные зависимости: для запуска скрипта
modeling_treegram.pyтребуются толькоtorchиsafetensors. - Поддержка классических биграмм: помимо нейросетевых tree-gram, в набор входят частотные
bigram-модели в форматеcounts.npzс откатом к равномерному распределению. - Полная прозрачность метрик: для каждого чекпоинта в карточке приведены точная энтропия и val loss в натах на токен.
Что можно сделать
- Сгенерировать синтетический датасет: создавать тексты в стиле детских историй, энциклопедических статей или образовательных материалов для обучения и тестирования других моделей.
- Сравнить влияние контекста и ширины: на готовых чекпоинтах проверить, как изменение длины контекста (от 1 до 31 токена) и ширины
d(от 64 до 1024) влияет на качество сэмплирования и энтропию. - Встроить в исследовательский пайплайн: использовать функцию
next_token_logitsдля получения логитов следующего токена и анализа распределений вероятностей в собственных скриптах на PyTorch.
Пример
from huggingface_hub import snapshot_download
import sys
path = snapshot_download("hugs-from-a-25/tree-gram-generators", allow_patterns=["modeling_treegram.py", "tinystories/n8_d1024/*", "tokenizers/*"])
sys.path.insert(0, path)
from modeling_treegram import load_generator, sample
model, cfg = load_generator(f"{path}/tinystories/n8_d1024")
tokens = sample(model, n_tokens=200, batch=4, eos_token_id=cfg["eos_token_id"])
Подробнее
Веса хранятся в форматеmodel.safetensors (float32), для каждой модели приложены config.json и generation.json.Лучший val loss в каждой группе: TinyStories (
n32_d1024) — 1.7407, WikiText-103 (n32_d1024) — 3.9298, FineWeb-Edu (n16_d1024) — 4.2983 nats/token.Требования к VRAM и железу в карточке не указаны.
Лицензии зависят от корпуса: CDLA-Sharing-1.0 (TinyStories), CC BY-SA 3.0 (WikiText-103) и ODC-By 1.0 (FineWeb-Edu).










Комментарии