Датасет · instruction-pretrain
Данные для обучения генератора инструкций из контекста
instruction-pretrain/ft-instruction-synthesizer-collection
Англоязычный корпус (100K–1M примеров) к статье EMNLP 2024 для обучения синтезатора инструкций и ответов.
Что внутри
Текстовый датасет на английском языке объёмом от 100 тысяч до 1 миллиона записей, созданный в рамках исследования Instruction Pre-Training (EMNLP 2024). Он предназначен для файнтюнинга модели-синтезатора, которая превращает обычные сырые тексты в пары «инструкция — ответ» для многозадачного претрейна.
Что можно сделать
- Обучение моделей генерации синтетических инструкций из неразмеченных текстов
- Подготовка данных для многозадачного претрейна и SFT в задачах классификации и QA
- Задачи
- Классификация текста, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 305
- Лайков
- 63
Модели, обученные на нём
- QuantFactory/InstructLM-500M-GGUFГенерация текста 728
- QuantFactory/instruction-synthesizer-GGUFГенерация текста 668
- QuantFactory/InstructLM-1.3B-GGUFГенерация текста 589
- mradermacher/InstructLM-500M-i1-GGUF 587
- mradermacher/InstructLM-1.3B-i1-GGUF 379
- mradermacher/instruction-synthesizer-i1-GGUF 358
- instruction-pretrain/InstructLM-500MГенерация текста 280
- instruction-pretrain/InstructLM-1.3BГенерация текста 251
Как загрузить
from datasets import load_dataset
ds = load_dataset("instruction-pretrain/ft-instruction-synthesizer-collection")