К содержимому

Датасет · Aratako

Синтетический датасет по коду на японском и английском

Aratako/Synthetic-JP-EN-Coding-Dataset-801k

801 тысяча синтетических пар инструкция-ответ для SFT-обучения моделей программированию на японском и английском языках.

Что внутри

Внутри лежат 801 262 примера для SFT по программированию: 627 413 на английском языке и 173 849 на японском. Базой послужил датасет на 69 тысяч записей, созданный методом Magpie, который затем расширили с помощью подхода, похожего на Evol-Instruct. В генерации исходных инструкций участвовали открытые LLM, включая Nemotron-4-340B, Phi-3-medium, Mixtral-8x22B и calm3-22b-chat.

Что можно сделать

  • SFT-дообучение LLM для генерации кода на японском и английском
  • Обучение мультиязычных LoRA-адаптеров для ассистентов разработчика
Задачи
Генерация текста
Языки
Японский
Размер
100K–1M записей
Скачиваний за месяц
291
Лайков
18

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Aratako/Synthetic-JP-EN-Coding-Dataset-801k")