tiny-dlms-rhoa-small
компактная модель для классификации намерений
2 мин чтения
Модель tiny-dlms-rhoa-small представляет собой крошечную систему принятия решений, которая оценивает список вариантов для заданной ситуации и выбирает наиболее подходящий. Архитектура написана с нуля на PyTorch без использования стандартной библиотеки transformers и содержит всего 0,72 млн параметров. В основе лежит претрейн на 2 ГБ веб-текста с последующим файнтюном на четырех датасетах для классификации. Она использует RMSNorm, RoPE (метод позиционного кодирования) и SwiGLU (разновидность функции активации в нейросети). Проект создан как учебная демонстрация для разработчиков, интересующихся устройством трансформеров изнутри.
Ключевые особенности
- Архитектура из 2 слоев и шириной 64 с 4 головками внимания, написанная полностью на PyTorch.
- Токенизатор byte-level BPE с базой в 8 192 токена, обученный на веб-текстах.
- Обучение в два этапа: маскированное претренирование на 2 ГБ данных FineWeb-Edu и дообучение на бенчмарках.
- Легковесность: всего 0,72 млн весов для быстрой работы на процессоре.
Что можно сделать
- Интегрировать в легковесные пайплайны классификации текста или определения намерений.
- Запустить локальный пример из репозитория для оценки вероятностей выбора вариантов через метод decide().
- Использовать исходный код в учебных целях для понимания внутренней работы токенизатора и трансформера.
Пример
from tiny_dlm.data import Decision, collate
from tiny_dlm.hub import from_pretrained
model, tokenizer, config = from_pretrained("liamsi/tiny-dlms-rhoa-small")
context = "i lost my card yesterday , what should i do ?"
options = ["lost or stolen card", "change pin", "card arrival"]
idx, cand_mask, _ = collate([Decision(context, options, options[:1])], tokenizer)
choice, probs = model.decide(idx, cand_mask)
print(options[choice.item()], probs[0].tolist())
Подробнее
Метрики на held-out тестах: bAbI — 81.4%, CLINC150 — 67.6%, Banking77 — 83.0%, CommonsenseQA — 17.6%.Обучение: 14 000 шагов на 479 млн токенов (FineWeb-Edu).
Требования к железу: минимальные благодаря весу в 0,72 млн параметров.










Комментарии