К содержимому

Датасет · tabularisai

Синтетический корпус на 650+ млн токенов для обучения LLM

tabularisai/oak

Масштабный набор англоязычных синтетических текстов, сгенерированных ансамблем языковых моделей.

Что внутри

Датасет включает от 1 до 10 миллионов записей на английском языке общим объёмом более 650 миллионов токенов (с учётом обновления v1.1 на 120 млн токенов). Данные представлены в табличном и текстовом форматах. Корпус полностью сгенерирован с помощью ансамбля современных LLM как этичный и разнообразный источник данных для обучения.

Что можно сделать

  • Предобучение и дообучение больших языковых моделей (LLM)
  • Дистилляция знаний из ансамбля сильных моделей в более компактные
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
770
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("tabularisai/oak")