К содержимому

Датасет · lmqg

Синтетические пары вопрос-ответ по SQuADShifts

lmqg/qa_squadshifts_synthetic

От 1 до 10 млн синтетических пар вопрос-ответ на английском для оценки моделей генерации вопросов.

Что внутри

Корпус содержит от 1 до 10 миллионов текстовых примеров на английском языке, сгенерированных дообученными моделями генерации вопросов поверх датасета lmqg/qa_squadshifts. Тестовая выборка представляет собой оригинальный валидационный сплит исходного набора. Данные предназначены для оценки качества генерации вопросов через решение задачи question-answering (QAE).

Что можно сделать

  • Оценка качества моделей генерации вопросов (QG) методом QAE
  • Дообучение (SFT) моделей для ответа на вопросы в условиях сдвига домена
Задачи
Вопрос-ответ
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
47,8 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("lmqg/qa_squadshifts_synthetic")