Датасет · nampdn-ai
Синтетические «учебники» для малых LLM
nampdn-ai/tiny-textbooks
100K–1M текстов в стиле учебников на английском для обучения небольших языковых моделей.
Что внутри
Это синтетический корпус текстов, похожих на учебники, на английском языке. Исходные тексты отобраны из falcon-refinedweb и minipile с упором на разнообразие и качество при небольшом размере. Синтез выполнен на 4×3090 Ti за 500 часов с помощью дообученной Nous-Hermes-Llama2-13b. По метаданным содержит 100K–1M записей; модальности — текст и табличные данные.
Что можно сделать
- Претрейн или SFT маленькой LLM
- Эксперименты с синтетическими учебными данными в духе phi-1.5
- Проверка качества генерации учебных текстов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 256
- Лайков
- 189
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nampdn-ai/tiny-textbooks")