Датасет · karpathy
Чистые TinyStories от GPT-4
karpathy/tinystories-gpt4-clean
2,7 млн коротких историй на английском, очищенных от проблем исходного TinyStories, для обучения небольших LLM.
Что внутри
Это очищенное подмножество TinyStories: оставлены только истории, сгенерированные GPT-4. В наборе 2 732 634 истории, около 2,19 млрд символов; длина документа от 115 до 4 433 символов, медиана — 721. Используются только 74 уникальных ASCII-символа; данные адаптированы из обсуждения очистки исходного датасета.
Что можно сделать
- Обучить маленькую языковую модель генерации рассказов
- Проверить модель на коротких английских историях
- Дообучить LoRA для простого английского текста
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 873
- Лайков
- 93
Модели, обученные на нём
- AlexKoff88/gemma4_tinystories 7,1 тыс.
- a-kemeklis/constraining-pretraining-dataГенерация текста 339
- Pondsiders/le-chaton-floppeГенерация текста 37
- CrowdMind/nanochat-d20-base 21
- CrowdMind/nanochat-d34-base 18
- EphAsad/IllaryiaStories-1MГенерация текста 16
- onnx-community/IllaryiaStories-1M-ONNXГенерация текста 14
- CrowdMind/nanochat-d32-base 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("karpathy/tinystories-gpt4-clean")