К содержимому

Датасет · M-A-D

Крупный сводный корпус текстов на арабском языке

M-A-D/Mixed-Arabic-Datasets-Repo

Масштабная коллекция разнообразных арабских текстов из разных источников для широкого круга NLP-задач.

Что внутри

Сборник объединяет от 100 миллионов до 1 миллиарда текстовых и табличных записей на арабском языке. Данные собраны сообществом с различных онлайн-платформ и из существующих наборов, чтобы решить проблему разрозненности арабских корпусов в сети.

Что можно сделать

  • Предобучение и дообучение языковых моделей на арабском языке
  • Решение задач машинного перевода, суммаризации, классификации и ответов на вопросы
Задачи
Классификация текста, Вопрос-ответ, Перевод, Суммаризация, Генерация текста, Заполнение пропусков
Языки
Арабский
Размер
100M–1B записей
Скачиваний за месяц
5,4 тыс.
Лайков
39

Как загрузить

from datasets import load_dataset

ds = load_dataset("M-A-D/Mixed-Arabic-Datasets-Repo")