Датасет · bigscience
Мультиязычные инструкции xP3
bigscience/xP3
Набор промптов и датасетов на 46 языках для 16 NLP-задач, использованный при обучении BLOOMZ и mT0.
Что внутри
xP3 (Crosslingual Public Pool of Prompts) — коллекция промптов и датасетов для 46 языков и 16 задач NLP. На ней обучали мультиязычные модели BLOOMZ и mT0, способные выполнять инструкции zero-shot на десятках языков. Размер — от 100 млн до 1 млрд примеров.
Что можно сделать
- Для SFT мультиязычной инструкционной модели
- Для оценки zero-shot следования инструкциям на 46 языках
- Для обучения или адаптации mT0-подобных моделей
- Задачи
- Другое
- Языки
- ak, Арабский, as, bm, bn, ca, Код, Английский и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 39,8 тыс.
- Лайков
- 115
Модели, обученные на нём
- bigscience/bloomz-560mГенерация текста 603,7 тыс.
- bigscience/mt0-smallГенерация текста 3,9 тыс.
- bigscience/bloomz-3bГенерация текста 3,4 тыс.
- bigscience/bloomz-7b1Генерация текста 2,7 тыс.
- bigscience/bloomz-1b7Генерация текста 1,4 тыс.
- bigscience/bloomz-1b1Генерация текста 1,1 тыс.
- bigscience/mt0-baseГенерация текста 1,1 тыс.
- bigscience/bloomzГенерация текста 1 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigscience/xP3")