Time-locked English 1780–1830 (300M base)

Это базовая GPT-подобная LLM на 297 170 880 параметров от etherfuse, обученная с нуля только на английских печатных изданиях 1780–1830. Проект — часть открытого предрегистрированного исследования авторства, заимствований и датировки раннего текста Книги Мормона: модель не доказывает и не опровергает божественное происхождение, а измеряет, насколько отрывок был обычен для своего времени.

🤓 Ключевые особенности

• 📝 Архитектура pre-norm decoder GPT-2-класса: 24 слоя, ширина 960, 15 голов, learned positions, tied embeddings, exact GELU, без bias.
• 📝 Контекст 1 024 токена; byte-level BPE на 32 000 токенов.
• 📝 Обучение: один проход по 25,7 млрд токенов, AdamW, bf16 на одной H100.
• 📝 Данные: 202 816 томов 1780–1830 без газет; удалены все каталогизированные копии Book of Mormon и тома с 20+ его оригинальными 12-токенными строками.
• 📝 Валидационный loss — 2,3248 на 20 млн токенов из 989 отложенных томов.
• 📝 Веса под CC BY-NC 4.0; тренировочные тексты и токены не распространяются.

📝 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained('etherfuse/timelocked-1830-300m')
model = AutoModelForCausalLM.from_pretrained('etherfuse/timelocked-1830-300m')
ids = tok('And it came to pass that', return_tensors='pt').input_ids
out = model.generate(ids, max_new_tokens=40, do_sample=True, top_p=0.9)
print(tok.decode(out[0]))

Подробнее

Валидационный loss — 2,3248 (20 млн токенов, 989 отложенных томов).
Обучение: 48 931 шаг по 524 288 токенов, пиковый learning rate 3e-4, 2% warmup, cosine до 10%, bf16 на одной H100.
Ограничения: английский 1780–1830 как оцифрован — OCR-ошибки, long s, орфография и типографика эпохи; модель не instruction-tuned и может уверенно выдавать ложный или оскорбительный контент.
Данные смещены в сторону того, что библиотеки сохранили и оцифровали: религия, право, история, проповеди.