К содержимому

Датасет · AletheiaAING

Оценка качества текстов на 71 африканском языке

AletheiaAING/Data-Quality

Набор из семи конфигураций для обучения классификаторов качества и естественности текстов на 71 африканском языке.

Что внутри

Датасет объединяет семь поднаборов с разными схемами для задачи определения качества текста на африканских языках без эталонного перевода. В основном конфиге содержится 493 831 строка текста от людей с известным типом и степенью искусственных искажений, а в других конфигах — десятки тысяч текстов, сгенерированных моделями по промптам на 71 языке (включая африкаанс, амхарский, арабский и другие).

Что можно сделать

  • Обучение классификаторов для фильтрации «мусорных» и машинно-испорченных данных при сборе корпусов
  • Создание моделей оценки качества генерации (reward models) для малоресурсных африканских языков
  • Детекция синтетических текстов на 71 языке Африки
Задачи
Классификация текста
Языки
afr, aka, amh, arb, bam, bem, bin, dag и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
46,8 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("AletheiaAING/Data-Quality")