К содержимому

Датасет · llm-jp

Синтетический SFT-датасет на японском языке по методу Magpie

llm-jp/magpie-sft-v1.0

От 100K до 1M пар инструкция-ответ на японском языке для SFT-обучения, сгенерированных моделями Calm3 и Qwen2.5.

Что внутри

Датасет подготовлен японским консорциумом LLM-jp и содержит от 100 тысяч до 1 миллиона текстовых пар «инструкция — ответ» на японском языке. Данные собраны полностью синтетически по методу Magpie: запросы сгенерированы моделью cyberagent/calm3-22b-chat, а ответы написаны Qwen/Qwen2.5-32B-Instruct.

Что можно сделать

  • SFT-дообучение языковых моделей для работы на японском языке
  • Дистилляция знаний из Qwen2.5-32B в более компактные модели
  • Адаптация мультиязычных LLM под японские инструкции и стиль общения
Задачи
Генерация текста
Языки
Японский
Размер
100K–1M записей
Скачиваний за месяц
915
Лайков
23

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("llm-jp/magpie-sft-v1.0")