Anvaya-1B
1B-модель, обученная с нуля на двух T4
1 min read
Anvaya-1B — плотная decoder-only LLM на 1 018 126 848 параметров, которую Vijayendra Dwari обучает с нуля в образовательном проекте на двух 16-ГБ Tesla T4. Сейчас опубликован ранний чекпоинт 160M: 29 слоёв, ширина 1536, 24 головы, контекст 4096.
Ключевые особенности
- Dense-архитектура: 29 decoder-блоков, RMSNorm, half-split RoPE, GELU MLP и tied embeddings.
- Обучение через PyTorch FSDP
FULL_SHARDна 2× Tesla T4 16 GB. - В репозитории — model-only FP16 safetensors; токенизатор от
meta-llama/Llama-3.2-1B, vocab 128 256. - Контекст 4096; данные — токенизированный FineWeb, конфиг
CC-MAIN-2025-26. - Ранний и намеренно недообученный чекпоинт: около 10,7% от планируемого прогона на 1,5B токенов.
Пример
import os, torch
from transformers import AutoTokenizer
from modeling_anvaya import Anvaya1B
repo_id = "Vijayendra/Anvaya-1B"
model = Anvaya1B.from_pretrained(repo_id, revision="160M",
token=os.environ.get("HF_TOKEN"), dtype=torch.float16, device="cuda")
tokenizer = AutoTokenizer.from_pretrained(repo_id, revision="160M")
Подробнее
Валидация на фиксированной выборке: NLL 4,75070, perplexity 115,67, token accuracy 25,21%.Обучение — 2× Tesla T4 16 GB, PyTorch FSDP
FULL_SHARD; публичный экспорт в FP16.Ограничения: нет downstream-бенчмарков и KV cache, модель не оптимизирована для инференса; возможны неточные, несвязные, предвзятые или небезопасные ответы.
Лицензия весов пока
other; код проекта — MIT, токенизатор сохраняет upstream-условия.









Comments