К содержимому

Датасет · utter-project

Многоязычные веб-тексты для обучения EuroLLM-22B

utter-project/EuroWeb-2512

Огромный корпус отфильтрованных многоязычных веб-данных размером от 1 до 10 млрд записей для предобучения языковых моделей.

Что внутри

Внутри собраны текстовые и табличные веб-данные на разных языках из множества источников. Объём датасета составляет от 1 до 10 миллиардов записей. Материалы прошли стандартную очистку и классификацию с помощью фильтра utter-project/EuroFilter-v1 для модели EuroLLM-22B.

Что можно сделать

  • Предобучение (pretraining) и дообучение многоязычных LLM
  • Обучение классификаторов качества веб-текстов
  • Исследование фильтрации многоязычных корпусов
Размер
1B–10B записей
Скачиваний за месяц
20,9 тыс.
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("utter-project/EuroWeb-2512")