Датасет · CohereLabs
Мультиязычный корпус Aya, разбитый по языкам
CohereLabs/aya_collection_language_split
513 млн примеров Aya Collection, разложенных по языкам для удобной загрузки одного или нескольких языков.
Что внутри
Это перезалив Aya Collection, отличающийся только структурой: данные разделены по языкам, а не по исходным датасетам. Коллекция содержит 513 млн примеров на множестве языков, включая ace, afr, amh, ara, aze, ban и другие. Модальности — таблицы и текст; удобно скачивать все данные для выбранного языка.
Что можно сделать
- Собрать многоязычный SFT-корпус для выбранных языков
- Дообучить multilingual LLM или LoRA на редких языках
- Оценить покрытие и качество мультиязычных данных
- Языки
- ace, afr, amh, ara, aze, ban, bbc, bel и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 11,1 тыс.
- Лайков
- 121
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/aya_collection_language_split")