К содержимому

Датасет · instruction-pretrain

Данные для обучения генератора инструкций из контекста

instruction-pretrain/ft-instruction-synthesizer-collection

Англоязычный корпус (100K–1M примеров) к статье EMNLP 2024 для обучения синтезатора инструкций и ответов.

Что внутри

Текстовый датасет на английском языке объёмом от 100 тысяч до 1 миллиона записей, созданный в рамках исследования Instruction Pre-Training (EMNLP 2024). Он предназначен для файнтюнинга модели-синтезатора, которая превращает обычные сырые тексты в пары «инструкция — ответ» для многозадачного претрейна.

Что можно сделать

  • Обучение моделей генерации синтетических инструкций из неразмеченных текстов
  • Подготовка данных для многозадачного претрейна и SFT в задачах классификации и QA
Задачи
Классификация текста, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
305
Лайков
63

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("instruction-pretrain/ft-instruction-synthesizer-collection")