Датасет · roneneldan
Короткие синтетические рассказы для обучения LLM
roneneldan/TinyStories
Синтетические короткие рассказы с малым словарём на английском для обучения и проверки языковых моделей.
Что внутри
Датасет содержит синтетически сгенерированные GPT-3.5 и GPT-4 короткие рассказы с ограниченным словарём. Тексты на английском; размер от 1 до 10 млн примеров. Основные файлы — TinyStories-train.txt и tinystories-valid.txt для обучения и валидации; также есть архив tinystories_all_data.tar.gz. По карточке, на нём обучали модели TinyStories-1M/3M/8M/28M/33M/1Layer-21M.
Что можно сделать
- Обучить небольшую языковую модель или LoRA для генерации рассказов
- Проверить качество генерации и валидационную loss на простом словаре
- Исследовать обучение моделей на синтетических данных
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 177,3 тыс.
- Лайков
- 1,2 тыс.
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("roneneldan/TinyStories")