Датасет · AletheiaAING
Оценка качества текстов на 71 африканском языке
AletheiaAING/Data-Quality
Набор из семи конфигураций для обучения классификаторов качества и естественности текстов на 71 африканском языке.
Что внутри
Датасет объединяет семь поднаборов с разными схемами для задачи определения качества текста на африканских языках без эталонного перевода. В основном конфиге содержится 493 831 строка текста от людей с известным типом и степенью искусственных искажений, а в других конфигах — десятки тысяч текстов, сгенерированных моделями по промптам на 71 языке (включая африкаанс, амхарский, арабский и другие).
Что можно сделать
- Обучение классификаторов для фильтрации «мусорных» и машинно-испорченных данных при сборе корпусов
- Создание моделей оценки качества генерации (reward models) для малоресурсных африканских языков
- Детекция синтетических текстов на 71 языке Африки
- Задачи
- Классификация текста
- Языки
- afr, aka, amh, arb, bam, bem, bin, dag и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 46,8 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("AletheiaAING/Data-Quality")