Датасет · CohereLabs
Мультиязычный xP3x: 277 языков
CohereLabs/xP3x
Промпты и датасеты для 16 NLP-задач на 277 языках — расширение xP3 для обучения мультиязычных моделей.
Что внутри
xP3x — коллекция промптов и датасетов на 277 языках для 16 NLP-задач. Она включает весь xP3 и значительно больше; использовалась при обучении претендентов на mT0 и BLOOMZ в проекте Aya в Cohere Labs. Объём — от 100M до 1B примеров; воспроизводится скриптом xp3x_create.py.
Что можно сделать
- Дообучение мультиязычной инструкционной модели
- SFT для 277 языков
- Оценка кросс-языкового переноса на 16 задачах
- Задачи
- Другое
- Языки
- af, Арабский, az, be, bg, bn, br, bs и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 76,8 тыс.
- Лайков
- 104
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/xP3x")