К содержимому

Датасет · papluca

Определение языка по тексту

papluca/language-identification

90 тыс. текстовых фрагментов с метками языка для классификации.

Что внутри

Датасет содержит 90 тыс. примеров: текстовые фрагменты и соответствующую метку языка. Собран из Multilingual Amazon Reviews Corpus, XNLI и STSb Multi MT. Подходит для обучения многоклассовой модели определения языка; языки в метаданных — ar, bg, de, el, en, es.

Что можно сделать

  • Обучение классификатора языка
  • Фильтрация мультиязычных текстов
  • Проверка пайплайнов определения языка
Задачи
Классификация текста
Языки
Арабский, bg, Немецкий, el, Английский, Испанский, Французский, Хинди и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
3,4 тыс.
Лайков
74

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("papluca/language-identification")