Датасет · SLPL
Крупнейший очищенный корпус текстов на фарси
SLPL/naab
Огромный текстовый корпус на персидском языке (130 ГБ, 15 млрд слов) для обучения языковых моделей с нуля и дообучения.
Что внутри
Внутри собраны очищенные тексты на языке фарси общим объёмом около 130 ГБ. Датасет включает 250 миллионов абзацев и 15 миллиардов слов (от 10 до 100 миллионов записей в метаданных). По заявлению авторов, это крупнейший готовый к использованию открытый корпус для персидского языка.
Что можно сделать
- Pre-training языковых моделей (LLM) и энкодеров с нуля на фарси
- Продолженное предобучение (continual pre-training) для адаптации мультиязычных моделей под персидский язык
- Обучение токенизаторов для текстов на фарси
- Задачи
- Заполнение пропусков, Генерация текста
- Языки
- Персидский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,6 тыс.
- Лайков
- 45
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("SLPL/naab")