К содержимому

Датасет · Locutusque

Крупный корпус синтетических и человеческих учебников

Locutusque/UltraTextbooks-2.0

Миллионный англоязычный текстовый датасет с образовательными материалами и кодом для обучения языковых моделей.

Что внутри

В датасете собраны англоязычные тексты и программный код объемом от 1 до 10 миллионов записей. Согласно описанию, корпус сочетает в себе как сгенерированные (синтетические) тексты, так и материалы, написанные людьми. Подходит для задач генерации текста, классификации и заполнения пропусков (fill-mask).

Что можно сделать

  • Предобучение (pretrain) или продолженное обучение LLM на качественных образовательных текстах и коде
  • SFT-тюнинг моделей для генерации объяснений и учебных материалов
Задачи
Генерация текста, Классификация текста, Заполнение пропусков
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
296
Лайков
53

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Locutusque/UltraTextbooks-2.0")