Датасет · CohereLabs
Многоязычная коллекция Aya для NLP-задач
CohereLabs/aya_collection
Большая многоязычная коллекция текстов для классификации, суммаризации и перевода.
Что внутри
Aya Collection — многоязычный датасет с текстами и табличными данными для задач text-classification, summarization и translation. Языков много, среди них ace, afr, amh, ara, aze, ban и другие. На Hugging Face есть две идентичные по содержанию загрузки: эта разбита по именам датасетов, а версия Language Split — по языкам. По метаданным, размер — от 100 млн до 1 млрд.
Что можно сделать
- Дообучение многоязычной модели переводу и суммаризации
- LoRA для малоресурсных языков
- Оценка мультиязычной классификации текстов
- Задачи
- Классификация текста, Суммаризация, Перевод
- Языки
- ace, afr, amh, ara, aze, ban, bbc, bel и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 15,4 тыс.
- Лайков
- 251
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/aya_collection")