Jalebi-Loop-35M
компактная модель для принятия решений и маршрутизации
2 мин чтения
Модель от Airavat-ai размером всего 35M параметров создана не для генерации текста, а для эффективного выбора вариантов, классификации и оценки по критериям. Она принимает на вход контекст и список опций, выдавая скоры для каждого варианта за один проход, что исключает галлюцинации и промпт-инъекции. Архитектура поддерживает динамическую глубину вычислений через повторяющийся средний блок (от K=1 для максимальной скорости до K=4 для точности). Решение идеально подходит разработчикам для задач роутинга запросов, фильтрации и быстрой кастомной доучки на одной видеокарте.
Ключевые особенности
- Сверхлёккая архитектура: всего 35M параметров, потребление видеопамяти от 0.3 до 0.6 ГБ.
- Гибкая глубина (K): переключение между K=1 (высокая скорость) и K=4 (повышенная точность) на этапе инференса.
- Три типа задач: обработка выбора (choice), бинарных вероятностей (noul) и оценка по критериям (score).
- Готовность к дообучению: простая кастомизация под собственные бизнес-процессы и классификаторы.
Что можно сделать
- Маршрутизация обращений: распределяйте входящие тикеты техподдержки по отделам (биллинг, фрод, поддержка).
- Автоматическая классификация: фильтруйте короткие структурированные запросы и тексты без риска генерации лишнего мусора.
- Ранжирование вариантов: оценивайте релевантность готовых опций под заданные критерии.
- Быстрый инференс: разворачивайте модель в сервисах с жесткими требованиями к задержке и минимальному потреблению VRAM.
Пример
import sys, numpy as np
sys.path[:0] = ["code", "code/eval", "code/model"]
from s1mb_adapter import load_checkpoint
from heldout_eval import build_scorer
model, tok, meta = load_checkpoint("Jalebi-Loop.pt", "tok24k.json", device="cpu")
scorer = build_scorer(model, tok, 512, "cpu", layout=meta["layout"])
record = {
"case_id": "demo", "question_id": "demo", "task": "choice",
"state": "Customer writes: my card was declined while travelling abroad",
"question": "Where should this request go?",
"options": ["billing team", "fraud team", "general support"],
"option_ids": ["0", "1", "2"],
}
scores = scorer.score_records([record], 4)[0]["scores"][-1]
probs = np.exp(scores - scores.max()); probs /= probs.sum()
print(probs)Подробнее
Метрики: на бенчмарке S1MB English v1 (K=4) средний показатель task average составляет 9.87.Железо: на NVIDIA L4 в режиме K=1 (bf16) модель выдает до 411–421 запросов в секунду при пиковой памяти до 0.38 ГБ.
Ограничения: окно контекста ограничено 512 токенами, каждая опция — до 40 токенов. Модель не является генератором текста и показывает слабые результаты на длинных рассуждениях.










Комментарии