Датасет · papluca
Определение языка по тексту
papluca/language-identification
90 тыс. текстовых фрагментов с метками языка для классификации.
Что внутри
Датасет содержит 90 тыс. примеров: текстовые фрагменты и соответствующую метку языка. Собран из Multilingual Amazon Reviews Corpus, XNLI и STSb Multi MT. Подходит для обучения многоклассовой модели определения языка; языки в метаданных — ar, bg, de, el, en, es.
Что можно сделать
- Обучение классификатора языка
- Фильтрация мультиязычных текстов
- Проверка пайплайнов определения языка
- Задачи
- Классификация текста
- Языки
- Арабский, bg, Немецкий, el, Английский, Испанский, Французский, Хинди и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3,4 тыс.
- Лайков
- 74
Модели, обученные на нём
- papluca/xlm-roberta-base-language-detectionКлассификация текста 104,8 тыс.
- StrandsAgents/strands-decider-2B-hobson-v21Классификация текста 15,6 тыс.
- tasksource/deberta-small-long-nliZero-shot классификация 9,3 тыс.
- sileod/deberta-v3-base-tasksource-nliZero-shot классификация 8 тыс.
- StrandsAgents/strands-decider-2B-hobson-v19Классификация текста 7 тыс.
- dominguesm/xlm-roberta-base-lora-language-detection 2,2 тыс.
- sileod/deberta-v3-large-tasksource-nliZero-shot классификация 1,8 тыс.
- tasksource/deberta-base-long-nliZero-shot классификация 1,4 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("papluca/language-identification")