Обучение Self-RAG с токенами рефлексии

Что внутри

Тренировочные данные Self-RAG: 150k разнообразных пар инструкция-ответ с вставленными пассажами и reflection-токенами. Модель учится генерировать ответы, вызывать систему поиска и критиковать собственный вывод и найденные фрагменты; обучение идёт стандартным next-token prediction.

Что можно сделать

• Обучение Self-RAG или LoRA для RAG
• Тренировка модели с адаптивным поиском
• Оценка reflection-токенов и retrieval-решений

Модели, обученные на нём

• LenckCuak/Self-RAGГенерация текста 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("selfrag/selfrag_train_data")