К содержимому

Датасет · a-m-team

Крупный дистиллированный корпус для рассуждений LLM

a-m-team/AM-DeepSeek-Distilled-40M

Масштабный набор текстовых данных с градацией по сложности для SFT и усиления навыков рассуждения моделей.

Что внутри

В репозитории представлена открытая часть крупного датасета (от 10 до 100 млн записей), созданного в рамках исследования DeepDistill для улучшения логических способностей LLM. Данные на китайском и английском языках разделены по уровням сложности и представлены в текстовом и табличном форматах. По заявлению авторов, обучение 72B-модели только методом SFT на полном корпусе дало 79.2 балла на бенчмарке AIME 2024.

Что можно сделать

  • SFT-дообучение языковых моделей для сложных логических и математических задач
  • Дистилляция навыков рассуждения в более компактные модели
  • Эксперименты с обучением на данных с градацией сложности
Задачи
Генерация текста
Языки
Китайский, Английский
Размер
10M–100M записей
Скачиваний за месяц
3,1 тыс.
Лайков
56

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("a-m-team/AM-DeepSeek-Distilled-40M")