KenT-20M-Base
языковая модель без attention
2 min read
KenT-20M-Base — крошечная базовая LLM от Vi-LAB на ~19,6 млн параметров, которая предсказывает по одному токену за шаг. Вместо attention история хранится в обучаемой EMA-памяти (экспоненциальное сглаживание с выучиваемыми коэффициентами) на всех глубинах сети. Архитектура использует фиксированную матрицу DCT-II, SwiGLU-блоки и GPT-2-токенизатор. Это не готовый ассистент, а исследовательская база для экспериментов с генерацией текста на английском.
Ключевые особенности
- Нет attention: контекст переносится через EMA-матрицы, а не через KV-кэш.
- Около 19,56 млн параметров, из них 12,06 млн — embedding; hidden size 240, 12 блоков и 13 EMA-tap.
- Состояние декодирования H имеет форму (13, 240), поэтому его размер не растёт с длиной текста — O(1).
- Словарь GPT-2 на 50 257 токенов, tied embedding / LM head; язык карточки — английский.
- DCT-II-матрица фиксированная, W обучается и инициализируется около единичной матрицы; EMA тоже обучаемая.
Что можно сделать
- Собрать исследовательский стенд и сравнить attention-free рекуррентную схему с маленькими transformer-моделями.
- Проверить генерацию продолжения английского текста при фиксированном состоянии без растущего KV-кэша.
- Поэкспериментировать с длинными последовательностями: состояние H не увеличивается по мере генерации.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Vi-LAB/KenT-20M-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Vi-LAB/KenT-20M-Base", trust_remote_code=True)










Comments