Long-context QA с цитатами

Что внутри

Датасет содержит 44 600 примеров question-answering с длинным контекстом на английском и китайском. Каждый пример включает инструкцию, длинный контекст, разбитый на предложения, и ответ с цитатами на уровне предложений; контексты — до 128 000 слов. Данные предназначены для обучения long-context LLM генерировать ответ и точные цитаты в одном выводе.

Что можно сделать

• Обучение long-context LLM с цитатами
• SFT для QA по длинным документам
• Проверка точности цитирования

Как загрузить

from datasets import load_dataset

ds = load_dataset("zai-org/LongCite-45k")