SalgrAI-Decider
мини-модель для выбора вариантов и классификации
2 мин чтения
SalgrAI-Decider — это ультракомпактная нейросеть на 25 млн параметров, которая не генерирует текст, а решает задачи многоклассовой классификации и выбора из нескольких вариантов (от 2 до 8). Модель принимает на вход ситуацию, вопрос и список опций, а на выходе выдает вероятности для каждого варианта за один проход (forward pass). В основе архитектуры лежит 11-слойный трансформер SalgrAI-v1.2 с двунаправленным вниманием (bidirectional attention) и специальной 'pointer' головой. Разработка пригодится разработчикам и исследователям, изучающим компактные модели маршрутизации и классификации текстов на русском языке.
Ключевые особенности
- Ультракомпактный размер (всего 25 млн параметров, работает локально без тяжелого железа).
- Двунаправленная архитектура внимания вместо генеративного языкового хэда.
- Быстрая выдача вероятностей для списка от 2 до 8 вариантов за один проход.
- Основная языковая база и обучение ориентированы на русскоязычный текст.
Что можно сделать
- Встроить в свой пайплайн для быстрой маршрутизации пользовательских сообщений и определения их типа.
- Использовать для классификации диалогов по темам или определения необходимости отказа в ответе.
- Провести эксперименты с калибровкой вероятностей и поведением сверхмалых моделей принятия решений.
Пример
import sys
from huggingface_hub import snapshot_download
path = snapshot_download("salgr/SalgrAI_Decider_1")
sys.path.insert(0, path)
from salgrai_decider import SalgrDecider
d = SalgrDecider.from_pretrained(path)
for r in d.decide("Как установить питон на компьютер?",
["программирование", "еда, здоровье и быт", "география и история"],
criteria="О чём этот диалог?"):
print(f"{r['prob']:.2f} {r['option']}")
Подробнее
Бенчмарки: точность определения типа сообщения — 0.98, темы диалога — 0.89.Требования к железу: минимальные благодаря размеру 25M параметров.
Ограничения: ненадежна за пределами изученных задач, не подходит для модерации и безопасности.
Обучение: 3 эпохи на 81 534 автоматически сгенерированных задачах.










Комментарии