К содержимому

Датасет · VatsaDev

Сборник текстов и задач для обучения компактных LLM

VatsaDev/TinyText

Мультизадачный англоязычный текстовый корпус объёмом более 1 млн записей для обучения небольших языковых моделей.

Что внутри

Датасет представляет собой единый файл train.jsonl размером от 1 до 10 миллионов записей на английском языке, связанный с проектом NanoPhi. Внутри объединены данные по шести направлениям: математика (Metamath, mammoth), код (Code Search Net), логика (Open-platypus), ролевые диалоги (PIPPA, RoleplayIO), синтетические учебники (Tiny-text, Sciphi) и вопросы-ответы по учебникам (Orca-text, Tiny-webtext).

Что можно сделать

  • Предобучение и SFT компактных языковых моделей по аналогии с семейством Phi
  • Обучение мультизадачных моделей навыкам программирования, логики и решения математических задач
Задачи
Вопрос-ответ, Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
916
Лайков
34

Как загрузить

from datasets import load_dataset

ds = load_dataset("VatsaDev/TinyText")