Датасет · M-A-D
Крупный сводный корпус текстов на арабском языке
M-A-D/Mixed-Arabic-Datasets-Repo
Масштабная коллекция разнообразных арабских текстов из разных источников для широкого круга NLP-задач.
Что внутри
Сборник объединяет от 100 миллионов до 1 миллиарда текстовых и табличных записей на арабском языке. Данные собраны сообществом с различных онлайн-платформ и из существующих наборов, чтобы решить проблему разрозненности арабских корпусов в сети.
Что можно сделать
- Предобучение и дообучение языковых моделей на арабском языке
- Решение задач машинного перевода, суммаризации, классификации и ответов на вопросы
- Задачи
- Классификация текста, Вопрос-ответ, Перевод, Суммаризация, Генерация текста, Заполнение пропусков
- Языки
- Арабский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 5,4 тыс.
- Лайков
- 39
Как загрузить
from datasets import load_dataset
ds = load_dataset("M-A-D/Mixed-Arabic-Datasets-Repo")