Датасет · vikp
Синтетические учебники по программированию
vikp/textbook_quality_programming
Около 115 млн токенов синтетических учебников по программированию на английском для обучения небольших LLM.
Что внутри
Набор синтетических учебников по программированию, сгенерированных GPT-3.5 с retrieval. Содержит около 115 млн токенов, охватывает много языков и технологий с уклоном в Python. Примерно 10 тыс. книг (65 млн токенов) сделаны старым методом и в среднем имеют 6 тыс. токенов; ещё около 1,5 тыс. книг (50 млн токенов) — новым методом с более подробным планом и средним размером 33 тыс. токенов.
Что можно сделать
- Обучить небольшую LLM программированию
- Сделать LoRA для генерации учебных текстов
- Проверить качество синтетических обучающих материалов
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 202
- Лайков
- 188
Модели, обученные на нём
- bartowski/YuLan-Mini-GGUFГенерация текста 1,9 тыс.
- diskrot/YuLan-Mini-diskrotГенерация текста 543
- diskrot/YuLan-Mini-GGUF-diskrotГенерация текста 432
- QuantFactory/YuLan-Mini-GGUFГенерация текста 355
- mradermacher/YuLan-Mini-GGUF 327
- tensorblock/YuLan-Mini-GGUFГенерация текста 278
- or4cl3ai/Aiden_t5Генерация текста 195
- yulan-team/YuLan-MiniГенерация текста 114
Как загрузить
from datasets import load_dataset
ds = load_dataset("vikp/textbook_quality_programming")