Датасет · nampdn-ai
Синтетические учебники для малых LLM
nampdn-ai/tiny-strange-textbooks
2,7 млн синтетических учебников на 16 ГБ текста для обучения небольших языковых моделей.
Что внутри
Датасет на 100% состоит из AI-сгенерированных текстов и ориентирован на идеи Textbooks Are All You Need и отчёт phi-1.5. Внутри 2,7 млн синтетических учебников, около 16 ГБ сырого текста; данные дедуплицированы. Язык — английский.
Что можно сделать
- Предобучение небольшой языковой модели
- Дообучение на синтетических учебниках
- Эксперименты с данными в стиле phi
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 258
- Лайков
- 96
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- fromziro/ZeroS-Pico-v1.0 1,3 тыс.
- techdotus/Ethoric-10MГенерация текста 1,1 тыс.
- techdotus/Tokle-3MГенерация текста 662
- techdotus/Tokle-SPAB-3MГенерация текста 164
- fromziro/ZeroS-Pico-v1.1 156
- amusktweewt/tiny-model-700M-chatГенерация текста 134
- fromziro/Syn-2.6M 35
- amusktweewt/tiny-model-500M-chat-v2Генерация текста 25
Как загрузить
from datasets import load_dataset
ds = load_dataset("nampdn-ai/tiny-strange-textbooks")