Датасет · PleIAs
Синтетический корпус для рассуждающих моделей
PleIAs/SYNTH
79,6 млн текстовых примеров на основе Википедии для end-to-end обучения небольших reasoning-моделей.
Что внутри
Синтетический текстовый датасет для обучения небольших reasoning-моделей end-to-end. Содержит 79 648 272 текстовых образца, более 41 млрд слов (около 75 млрд токенов). Собран Pleias и AI Alliance на основе 58 698 статей Википедии из Structured Wikipedia; языки — en, fr, it, es, de, pl.
Что можно сделать
- Обучение небольшой reasoning-модели end-to-end
- SFT и эксперименты с синтетическими данными
- Проверка суммаризации и zero-shot классификации
- Задачи
- Генерация текста, Zero-shot классификация, Суммаризация
- Языки
- Английский, Французский, Итальянский, Испанский, Немецкий, Польский, Нидерландский, la
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 33,3 тыс.
- Лайков
- 310
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("PleIAs/SYNTH")