Датасет · instruction-pretrain
200 млн пар инструкций и ответов для предобучения LLM
instruction-pretrain/general-instruction-augmented-corpora
Огромный англоязычный корпус из 200 млн пар «инструкция-ответ» по более чем 40 категориям задач для мультизадачного предобучения моделей.
Что внутри
Внутри находятся 200 миллионов пар «инструкция-ответ» на английском языке, охватывающих более 40 категорий различных задач, включая классификацию текстов и ответы на вопросы по текстам и таблицам. Датасет создан путем масштабируемого дополнения сырых текстовых корпусов инструкциями для исследования метода Instruction Pre-Training. Данные опубликованы к статье на конференции EMNLP 2024.
Что можно сделать
- Мультизадачное предобучение (Instruction Pre-Training) базовых языковых моделей
- Дообучение (SFT) моделей для работы с таблицами, вопросами и zero-shot классификацией
- Задачи
- Классификация текста, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация
- Языки
- Английский
- Скачиваний за месяц
- 20,1 тыс.
- Лайков
- 31
Модели, обученные на нём
- mradermacher/Apertus-EstLLM-8B-1125-i1-GGUF 1,3 тыс.
- mradermacher/Llama-3.1-EstLLM-8B-0525-i1-GGUF 646
- mradermacher/InstructLM-500M-i1-GGUF 587
- mradermacher/InstructLM-1.3B-i1-GGUF 379
- instruction-pretrain/InstructLM-500MГенерация текста 280
- mradermacher/Apertus-EstLLM-8B-1125-GGUF 261
- instruction-pretrain/InstructLM-1.3BГенерация текста 251
- mradermacher/InstructLM-1.3B-GGUF 219
Как загрузить
from datasets import load_dataset
ds = load_dataset("instruction-pretrain/general-instruction-augmented-corpora")