К содержимому

Датасет · HPLT

Очищенный веб-корпус HPLT 2.0 на 191 языке

HPLT/HPLT2.0_cleaned

Миллиарды очищенных веб-документов из Internet Archive и Common Crawl на 191 языке мира.

Что внутри

Это очищенная версия масштабного многоязычного корпуса веб-документов, собранного проектом HPLT преимущественно из архивов Internet Archive и Common Crawl. Объем составляет от 1 до 10 миллиардов записей на 191 языке, включая редкие и малоресурсные. Сами авторы отмечают, что версия 2.0 уже устарела и рекомендуют переходить на релиз HPLT 3.0.

Что можно сделать

  • Предобучение многоязычных языковых моделей и токенизаторов
  • Сбор текстовых данных для малоресурсных языков
  • Обучение моделей заполнения пропусков (fill-mask) и генерации текста
Задачи
Заполнение пропусков, Генерация текста
Языки
ace, af, als, am, Арабский, as, ast, awa и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
127 тыс.
Лайков
55

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HPLT/HPLT2.0_cleaned")