Датасет · maywell
Синтетические корейские учебные тексты
maywell/korean_textbooks
Крупный корейский синтетический корпус в стиле учебников, сгенерированный Gemini Pro.
Что внутри
Это большой синтетический корейский датасет, созданный с помощью Gemini Pro по методике из работы «Textbooks Are All You Need». Объём — от 1 до 10 млн примеров, язык — корейский. Названия подмножеств не раскрывают их содержимое, а для обучения данные рекомендуют дополнительно обрабатывать под конкретную задачу.
Что можно сделать
- Обучение корейской языковой модели
- SFT/LoRA на синтетических текстах
- Эксперименты с textbook-quality данными
- Языки
- Корейский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,5 тыс.
- Лайков
- 123
Как загрузить
from datasets import load_dataset
ds = load_dataset("maywell/korean_textbooks")