К содержимому

Датасет · SLPL

Крупнейший очищенный корпус текстов на фарси

SLPL/naab

Огромный текстовый корпус на персидском языке (130 ГБ, 15 млрд слов) для обучения языковых моделей с нуля и дообучения.

Что внутри

Внутри собраны очищенные тексты на языке фарси общим объёмом около 130 ГБ. Датасет включает 250 миллионов абзацев и 15 миллиардов слов (от 10 до 100 миллионов записей в метаданных). По заявлению авторов, это крупнейший готовый к использованию открытый корпус для персидского языка.

Что можно сделать

  • Pre-training языковых моделей (LLM) и энкодеров с нуля на фарси
  • Продолженное предобучение (continual pre-training) для адаптации мультиязычных моделей под персидский язык
  • Обучение токенизаторов для текстов на фарси
Задачи
Заполнение пропусков, Генерация текста
Языки
Персидский
Размер
10M–100M записей
Скачиваний за месяц
3,6 тыс.
Лайков
45

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("SLPL/naab")