Корпус 1,3T для обучения языковых моделей

Что внутри

Zyda — англ��язычный датасет для языкового моделирования объёмом 1,3T, собранный из открытых и качественных наборов. Авторы объединили источники и применили единую фильтрацию и дедупликацию. По карточке, датасет хорошо показывает себя в абляциях и подходит для обучения языковых моделей.

Что можно сделать

• Обучение или дообучение англоязычных LLM
• Сравнение с другими открытыми корпусами в абляциях
• Подготовка данных для языкового моделирования

Как загрузить

from datasets import load_dataset

ds = load_dataset("Zyphra/Zyda")