InDEXt-125M
компактная двуязычная (EN/RU) языковая модель с нуля
2 мин чтенияобновлено
InDEXt-125M — сверхлёгкая генеративная языковая модель (SLM) от ResonateIntegrated, обученная полностью с нуля на русском и английском языках. В её основе лежит современная архитектура типа Llama-3 (124,13 млн параметров, из которых 99,11 млн приходится на 12 слоёв трансформера и 25,02 млн — на эмбеддинги) с поддержкой RoPE, RMSNorm, SwiGLU и FlashAttention-2. В отличие от моделей, дообученных на базе англоязычных весов, здесь с нуля создан сбалансированный двуязычный ByteLevel BPE-токенизатор на 32 576 токенов, что делает обработку кириллицы заметно экономнее. Модель прошла предобучение по законам масштабирования Chinchilla на 2,48 млрд токенов и финальную настройку под диалоги (SFT). Она подойдёт для экспериментов на слабом железе, встраивания в локальные прототипы и изучения архитектуры компактных LLM.
Ключевые особенности
- Собственный EN/RU токенизатор (
vocab_size = 32 576), обученный на сбалансированном корпусе для эффективной работы с кириллицей и латиницей. - Двухэтапный пайплайн: 4400 шагов предобучения на веб- и образовательных текстах и 645 шагов SFT-полировки (настройка на диалоги 50/50 EN и RU).
- Современный стек декодера LlamaForCausalLM: RoPE, пре-нормализация RMSNorm, активация SwiGLU, Weight Tying и ускорение внимания через SDPA.
- Веса сохранены в формате
SafeTensorsв точностиbfloat16при длине контекста 1024 токена.
Что можно сделать
- Запустить локальный диалоговый прототип или чат-бота на русском и английском языках с минимальными затратами видеопамяти.
- Использовать модель как лёгкую базу для дальнейшего файнтюнинга (дообучения) под узкие текстовые задачи или классификацию.
- Изучить на практике поведение компактных моделей (125M параметров), обученных по оптимальному соотношению Chinchilla (~20 токенов на параметр).
Пример
from safetensors.torch import load_file
from transformers import PreTrainedTokenizerFast
tokenizer = PreTrainedTokenizerFast.from_pretrained("./InDEXt-125M")
state_dict = load_file("./InDEXt-125M/model.safetensors", device="cuda")
model.load_state_dict(state_dict, strict=True)
prompt = "<|user|>\nExplain what a neural network is in simple terms.\n<|assistant|>\n"
print(model.generate(prompt, tokenizer, max_new_tokens=128))
Подробнее
Обучена на 2,48 млрд токенов (5045 шагов, глобальный батч 491 520 токенов) с оптимизатором AdamW.Датасеты: fineweb-edu, fineweb-2 (rus_Cyrl), smoltalk и Vikhrmodels/GrandMaster-PRO-MAX.
Архитектура: 12 слоёв, 12 голов внимания, d_model = 768, hidden_dim = 2560, контекст 1024 токена.
Спецтокены диалога: <|user|>, <|assistant|>, <|endoftext|>, <|pad|>.










Комментарии