Датасет · utter-project
Многоязычные веб-тексты для обучения EuroLLM-22B
utter-project/EuroWeb-2512
Огромный корпус отфильтрованных многоязычных веб-данных размером от 1 до 10 млрд записей для предобучения языковых моделей.
Что внутри
Внутри собраны текстовые и табличные веб-данные на разных языках из множества источников. Объём датасета составляет от 1 до 10 миллиардов записей. Материалы прошли стандартную очистку и классификацию с помощью фильтра utter-project/EuroFilter-v1 для модели EuroLLM-22B.
Что можно сделать
- Предобучение (pretraining) и дообучение многоязычных LLM
- Обучение классификаторов качества веб-текстов
- Исследование фильтрации многоязычных корпусов
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 20,9 тыс.
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("utter-project/EuroWeb-2512")