Датасет · tabularisai
Синтетический корпус на 650+ млн токенов для обучения LLM
tabularisai/oak
Масштабный набор англоязычных синтетических текстов, сгенерированных ансамблем языковых моделей.
Что внутри
Датасет включает от 1 до 10 миллионов записей на английском языке общим объёмом более 650 миллионов токенов (с учётом обновления v1.1 на 120 млн токенов). Данные представлены в табличном и текстовом форматах. Корпус полностью сгенерирован с помощью ансамбля современных LLM как этичный и разнообразный источник данных для обучения.
Что можно сделать
- Предобучение и дообучение больших языковых моделей (LLM)
- Дистилляция знаний из ансамбля сильных моделей в более компактные
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 770
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("tabularisai/oak")