К содержимому

Датасет · inclusionAI

Инструктивный SFT-датасет для кодовых моделей

inclusionAI/Ling-Coder-SFT

Крупный корпус пар «инструкция — код» на английском и китайском языках для SFT-обучения языковых моделей.

Что внутри

Репозиторий содержит SFT-подвыборку из набора данных проекта Ling-Coder, на которой обучалась модель Ling-Coder Lite. В карточке заявлено более 5 миллионов текстовых примеров для генерации кода (в просмотрщике Hugging Face отображается около 4,48 млн строк в формате parquet) на английском и китайском языках. В каждом примере хранятся диалоги с постановкой задачи по программированию и развёрнутым решением.

Что можно сделать

  • SFT-дообучение LLM и LoRA-адаптеров для генерации и объяснения кода
  • Создание двуязычных (англо-китайских) ИИ-ассистентов для разработчиков
Задачи
Генерация текста
Языки
Английский, Китайский
Размер
1M–10M записей
Скачиваний за месяц
1,7 тыс.
Лайков
46

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("inclusionAI/Ling-Coder-SFT")