Датасет · VatsaDev
Сборник текстов и задач для обучения компактных LLM
VatsaDev/TinyText
Мультизадачный англоязычный текстовый корпус объёмом более 1 млн записей для обучения небольших языковых моделей.
Что внутри
Датасет представляет собой единый файл train.jsonl размером от 1 до 10 миллионов записей на английском языке, связанный с проектом NanoPhi. Внутри объединены данные по шести направлениям: математика (Metamath, mammoth), код (Code Search Net), логика (Open-platypus), ролевые диалоги (PIPPA, RoleplayIO), синтетические учебники (Tiny-text, Sciphi) и вопросы-ответы по учебникам (Orca-text, Tiny-webtext).
Что можно сделать
- Предобучение и SFT компактных языковых моделей по аналогии с семейством Phi
- Обучение мультизадачных моделей навыкам программирования, логики и решения математических задач
- Задачи
- Вопрос-ответ, Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 916
- Лайков
- 34
Как загрузить
from datasets import load_dataset
ds = load_dataset("VatsaDev/TinyText")