К содержимому

Датасет · commoncrawl

Бенчмарк определения языка веб-текстов для 109 языков

commoncrawl/CommonLID

Вручную размеченные фрагменты реальных веб-текстов на 109 языках для проверки алгоритмов распознавания языка.

Что внутри

Датасет и бенчмарк от Common Crawl для задачи идентификации языка (LID), содержащий от 100K до 1M строк. Внутри лежат реальные веб-тексты, вручную размеченные сообществом по языку написания, с охватом 109 языков (для 78 из них представлено не менее 100 строк).

Что можно сделать

  • Тестирование и сравнение классификаторов определения языка на «грязных» веб-данных
  • Обучение фильтров для очистки многоязычных корпусов при претрейне LLM
  • Проверка качества распознавания малоресурсных языков и диалектов
Задачи
Классификация текста
Языки
ace, acf, aeb, afr, amh, apd, ara, arb и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
918
Лайков
59
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("commoncrawl/CommonLID")