Датасет · a-m-team
Крупный дистиллированный корпус для рассуждений LLM
a-m-team/AM-DeepSeek-Distilled-40M
Масштабный набор текстовых данных с градацией по сложности для SFT и усиления навыков рассуждения моделей.
Что внутри
В репозитории представлена открытая часть крупного датасета (от 10 до 100 млн записей), созданного в рамках исследования DeepDistill для улучшения логических способностей LLM. Данные на китайском и английском языках разделены по уровням сложности и представлены в текстовом и табличном форматах. По заявлению авторов, обучение 72B-модели только методом SFT на полном корпусе дало 79.2 балла на бенчмарке AIME 2024.
Что можно сделать
- SFT-дообучение языковых моделей для сложных логических и математических задач
- Дистилляция навыков рассуждения в более компактные модели
- Эксперименты с обучением на данных с градацией сложности
- Задачи
- Генерация текста
- Языки
- Китайский, Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 56
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("a-m-team/AM-DeepSeek-Distilled-40M")