DeFT-RAG-DM-4B
4B-диспетчер решений для multi-hop RAG
2 min read
DeFT-RAG-DM-4B — дообученная decision-модель из статьи DeFT-RAG (UT Dallas). Это 4,54B-модель на базе StartLux-Decision-4B: она выдаёт вероятности для yes/no-решений и оценку глубины вопроса в пайплайне multi-hop RAG. Язык — английский.
Ключевые особенности
- Relevance: нужен ли найденный пассаж для ответа на вопрос или подвопрос; порог p(yes) ≥ 0.5.
- Sufficiency: хватает ли top-10 пассажей, чтобы ответить; порог p(yes) ≥ 0.7.
- Question depth: оценивает число hops по самому вопросу — none, one, two или three+ — как score от 0 до 3.
- Direct answer: отвечает напрямую по пассажам, если они достаточны и глубина ≤ 2; иначе запускает цикл подвопросов.
- Enough facts: отвечают ли уже найденные пары вопрос-ответ на исходный вопрос; порог ≥ 0.5.
- Same question: в QA-кэше проверяет, не запрашивают ли два подвопроса одну и ту же информацию; порог ≥ 0.8.
Пример
huggingface-cli download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4B
huggingface-cli download Dingy-Kang/DeFT-RAG-DM-4B --local-dir DeFT-RAG-DM-4B
cd StartLux-Decision-4B && pip install -r requirements.txt
python -m startlux_decision.server --model ../DeFT-RAG-DM-4B --port 8090 --no-images --max-length 16384 --name deftrag-dm
Подробнее
База — StartLux-Decision-4B; LoRA rank 16, alpha 32, dropout 0.05, 1 эпоха, LR 1e-4.Обучение: 48 036 примеров и 7 806 dev, только train-сплиты MuSiQue, 2WikiMultiHopQA и HotpotQA; тестовые данные не использовались.
Для сервера хватит одной GPU с ~20 GB свободной памяти; язык — английский.
Лицензия CC BY-NC 4.0: только исследовательское и некоммерческое использование с атрибуцией.










Comments