К содержимому

Датасет · instruction-pretrain

200 млн пар инструкций и ответов для предобучения LLM

instruction-pretrain/general-instruction-augmented-corpora

Огромный англоязычный корпус из 200 млн пар «инструкция-ответ» по более чем 40 категориям задач для мультизадачного предобучения моделей.

Что внутри

Внутри находятся 200 миллионов пар «инструкция-ответ» на английском языке, охватывающих более 40 категорий различных задач, включая классификацию текстов и ответы на вопросы по текстам и таблицам. Датасет создан путем масштабируемого дополнения сырых текстовых корпусов инструкциями для исследования метода Instruction Pre-Training. Данные опубликованы к статье на конференции EMNLP 2024.

Что можно сделать

  • Мультизадачное предобучение (Instruction Pre-Training) базовых языковых моделей
  • Дообучение (SFT) моделей для работы с таблицами, вопросами и zero-shot классификацией
Задачи
Классификация текста, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация
Языки
Английский
Скачиваний за месяц
20,1 тыс.
Лайков
31

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("instruction-pretrain/general-instruction-augmented-corpora")