Agastya Decision RAG 2B

Это файнтюн Qwen3.5-2B (2.27B параметров) от amartya16 с головой Unsloth Clef для typed decision inference. Модель отвечает на типизированные вопросы о переданном состоянии и возвращает вероятности; её цель — маршрутизация и выбор внутри RAG-системы, управляемой оглавлением.

💪 Ключевые особенности

• 👉 Поддерживает вопросы choice, score и noul (boolean) — с вероятностями ответов.
• 🐱 Для ToC-guided RAG: выбрать следующий раздел или решить, нужен ли ещё один retrieval-шаг.
• 💪 Для typed decision inference нужен FastDecisionModel из Unsloth; обычная загрузка через Transformers не открывает этот API.
• 👀 Обучение: QLoRA на LocalLLaMA/typed-decisions, soft cross-entropy, 34 шага, 2 эпохи.
• 🤫 В репозитории есть handler.py для HF Inference Endpoints, но деплой и совместимость с GPU ещё не тестировались.

👀 Пример

from unsloth import FastDecisionModel
model, tok = FastDecisionModel.from_pretrained("amartya16/Agastya-RAG-2B", max_seq_length=2048, load_in_4bit=True)
FastDecisionModel.for_inference(model)
answers = FastDecisionModel.predict(model=model, tokenizer=tok,
    state="Question: When is an appeal due? ToC: 1. Scope; 2. Filing deadlines; 3. Appeals.",
    questions={"next_section": {"type": "choice", "instructions": "Select the best section to read next.", "criteria": {"deadlines": "Section 2", "appeals": "Section 3"}}})
print(answers)

Подробнее

На 150 held-out typed decisions: 66.0% accuracy и ECE 0.0948; у базовой модели — 37.33% и 0.0967.
Файл backbone ~4.55 ГБ, голова ~61 МБ; в decision-конфиге max_len: 4096.
ToC-маршрутизация отдельно не оценена; модель не индексирует документы, не ищет пассажи и не цитирует источники.
Лицензия Apache-2.0.