open-sci-ref 1.7B

open-sci выпустила base-модель на 1.7B параметров, предобученную на 300B токенов MixtureVitae v1: данные decontaminated, tier2b удалён, instruction/reasoning-подмножество исключено, а formatted-text шарды возвращены. Контекст — 4 096 токенов; это именно base-чекпойнт без long-context extension и без SFT или preference fine-tuning.

📌 Ключевые особенности

• ✅ 1.7B параметров: 24 слоя, hidden size 2 048, FFN 8 192, 32 attention heads и 6 KV-групп.
• ✅ 300B токенов обучения, 71 526 итераций, bf16, AdamW и WSD-расписание.
• 📍 Контекст 4 096 токенов, RoPE theta 100 000, токенизатор GPT-NeoX.
• 📌 Загрузка требует trust_remote_code=True; в репозитории есть chat_template.jinja и modeling_opensci.py.
• ❌ Не чат-модель «из коробки»: нет инструктивного и preference-дообучения.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'open-sci/open-sci-ref-v0.02-1.7b-mixturevitae-noinstruct-ftrest-300B-4096'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)

Подробнее

Обучение шло на JUPITER: 64 узла, 256 GH200, Megatron-LM.
Карточка ссылается на Protocol A reasoning suite и open-sci-0.01 language suite, но конкретные цифры бенчмарков не приводит.
Требования к VRAM в карточке не указаны.
Ограничения: только base-модель, без instruct-режима и без расширенного контекста.