Датасет · commoncrawl
Бенчмарк определения языка веб-текстов для 109 языков
commoncrawl/CommonLID
Вручную размеченные фрагменты реальных веб-текстов на 109 языках для проверки алгоритмов распознавания языка.
Что внутри
Датасет и бенчмарк от Common Crawl для задачи идентификации языка (LID), содержащий от 100K до 1M строк. Внутри лежат реальные веб-тексты, вручную размеченные сообществом по языку написания, с охватом 109 языков (для 78 из них представлено не менее 100 строк).
Что можно сделать
- Тестирование и сравнение классификаторов определения языка на «грязных» веб-данных
- Обучение фильтров для очистки многоязычных корпусов при претрейне LLM
- Проверка качества распознавания малоресурсных языков и диалектов
- Задачи
- Классификация текста
- Языки
- ace, acf, aeb, afr, amh, apd, ara, arb и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 918
- Лайков
- 59
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("commoncrawl/CommonLID")