150M-Kilat-SMALL-10B
компактная базовая LLM с гибридной архитектурой
2 мин чтенияобновлено
Kilat SMALL 10B от автора AiRukua — это предобученная с нуля базовая языковая модель (Base Pretrained Language Model) на 151 млн параметров, где на каждый токен активируется лишь около 59.5 млн. В основе лежит архитектура Kilat v2.0, объединяющая рекуррентный механизм Global Decay (обработка последовательностей за линейное время с фиксированным размером состояния), сжатое внимание Latent MLA (уменьшает потребление памяти под KV-кэш) и разреженную смесь экспертов MoE (Mixture-of-Experts, где для каждого токена выбираются 2 из 8 маршрутизируемых экспертов плюс 1 общий). Модель обучена в один проход на 10 миллиардах токенов из образовательного датасета FineWeb-Edu, не проходила инструктивный файнтюн (SFT) и пригодится исследователям архитектур и разработчикам как лёгкая основа для дальнейшего дообучения.
Ключевые особенности
- Гибрид трёх подходов: сочетание Global Decay, Latent Multi-Head Attention (в стиле DeepSeek) и разреженного MoE снижает затраты памяти на KV-кэш и сохраняет компактность активных вычислений.
- Лёгкий вес: ~151M общих параметров при ~59.5M активных на токен, 12 слоёв, скрытая размерность 384 и длина контекста 2048 токенов.
- Обучение с нуля: 10B токенов из
gpjt/fineweb-edu-gpt2-tokensбез повторений (single-pass) во фреймворке Kilat Macro-Synergy с токенизатором GPT-2. - Чистая база без SFT: модель училась предсказывать следующий токен и не настраивалась под диалоги или выполнение инструкций.
Что можно сделать
- Продолжить предобучение (CPT): дообучить базу на специализированных корпусах — например, по программированию, математике, науке или на индонезийском языке.
- Провести SFT-настройку: превратить базовый чекпоинт в компактного инструктивного ассистента на собственном датасете формата «инструкция — ответ».
- Исследовать гибридные архитектуры: изучить на практике, как взаимодействуют Global Decay, Latent MLA и MoE в сверхмалых языковых моделях.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "AiRukua/150M-Kilat-SMALL-10B"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, device_map="auto")
inputs = tokenizer("Machine learning is a subset of artificial intelligence that", return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=60)[0], skip_special_tokens=True))Подробнее
Обучение: ~19 000 шагов за 19+ часов на 10B токенов (контекст 2048).Бенчмарки: оценки на мультиязычных, математических, кодовых и прикладных задачах в этом релизе не проводились.
Ограничения: данные предобучения в основном на английском языке; разреженная активация экспертов не гарантирует ускорение инференса на любом железе.
Лицензия: Apache 2.0.










Комментарии