Датасет · Aratako
Синтетический датасет по коду на японском и английском
Aratako/Synthetic-JP-EN-Coding-Dataset-801k
801 тысяча синтетических пар инструкция-ответ для SFT-обучения моделей программированию на японском и английском языках.
Что внутри
Внутри лежат 801 262 примера для SFT по программированию: 627 413 на английском языке и 173 849 на японском. Базой послужил датасет на 69 тысяч записей, созданный методом Magpie, который затем расширили с помощью подхода, похожего на Evol-Instruct. В генерации исходных инструкций участвовали открытые LLM, включая Nemotron-4-340B, Phi-3-medium, Mixtral-8x22B и calm3-22b-chat.
Что можно сделать
- SFT-дообучение LLM для генерации кода на японском и английском
- Обучение мультиязычных LoRA-адаптеров для ассистентов разработчика
- Задачи
- Генерация текста
- Языки
- Японский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 291
- Лайков
- 18
Модели, обученные на нём
- Kendamarron/Qwen2.5-1.75B-A1.1B-Instruct-jaГенерация текста 636
- mradermacher/star-kira-instruct-250426-GGUF 385
- mradermacher/ChatWaifu_32B_reasoning-i1-GGUF 95
- mradermacher/ChatWaifu_32B_reasoning-GGUF 61
- WariHima/Hourai-a150m-7.8b-TrainingCodes-DemoГенерация текста 58
- spow12/ChatWaifu_32B_reasoningГенерация текста 8
- SousiOmine/star-kira-instruct-250426 7
- zamanabbasnaqvi/Code-X 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("Aratako/Synthetic-JP-EN-Coding-Dataset-801k")