К содержимому

Датасет · Manusagents

Масштабный SFT-корпус по коду, кибербезопасности и науке

Manusagents/Omni-Frontier-Distillation-SFT-Cyber-security-Coding-dataset-collection-v2

Дедуплицированный SFT-датасет объемом 10–100 млн строк для обучения ризонингу, программированию, математике и кибербезопасности.

Что внутри

Крупный объединенный корпус на английском языке объемом от 10 до 100 миллионов записей, представленный в текстовом и табличном форматах. Датасет собран для дистилляции и SFT-обучения, прошел очистку от дубликатов и охватывает кибербезопасность, программирование, математику, естественные науки и задачи на рассуждение (reasoning). Конкретный формат файлов и первоисточники в фрагменте карточки не указаны.

Что можно сделать

  • SFT-обучение и дистилляция языковых моделей для написания кода и решения задач по кибербезопасности
  • Усиление навыков логического рассуждения (reasoning) и решения научных/математических задач у открытых LLM
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
2,3 тыс.
Лайков
9

Как загрузить

from datasets import load_dataset

ds = load_dataset("Manusagents/Omni-Frontier-Distillation-SFT-Cyber-security-Coding-dataset-collection-v2")