Датасет · TIGER-Lab
Огромный корпус веб-инструкций для обучения LLM
TIGER-Lab/WebInstructFull
Десятки миллионов англоязычных пар вопрос-ответ из веба, собранных для проекта MAmmoTH2.
Что внутри
Полная версия датасета от TIGER-Lab, использованная для обучения моделей MAmmoTH2. Содержит от 10 до 100 миллионов текстовых примеров в формате инструкций и ответов на английском языке, собранных из интернета. Распространяется под лицензией CC BY-NC 4.0, поэтому подходит только для некоммерческих исследований.
Что можно сделать
- Масштабный SFT-файнтюнинг языковых моделей для улучшения навыков рассуждения и ответов на вопросы
- Обучение открытых исследовательских моделей по пайплайну MAmmoTH2
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 1,4 тыс.
- Лайков
- 36
Как загрузить
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/WebInstructFull")