Датасет · Manusagents
Масштабный SFT-корпус по коду, кибербезопасности и науке
Manusagents/Omni-Frontier-Distillation-SFT-Cyber-security-Coding-dataset-collection-v2
Дедуплицированный SFT-датасет объемом 10–100 млн строк для обучения ризонингу, программированию, математике и кибербезопасности.
Что внутри
Крупный объединенный корпус на английском языке объемом от 10 до 100 миллионов записей, представленный в текстовом и табличном форматах. Датасет собран для дистилляции и SFT-обучения, прошел очистку от дубликатов и охватывает кибербезопасность, программирование, математику, естественные науки и задачи на рассуждение (reasoning). Конкретный формат файлов и первоисточники в фрагменте карточки не указаны.
Что можно сделать
- SFT-обучение и дистилляция языковых моделей для написания кода и решения задач по кибербезопасности
- Усиление навыков логического рассуждения (reasoning) и решения научных/математических задач у открытых LLM
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 2,3 тыс.
- Лайков
- 9
Как загрузить
from datasets import load_dataset
ds = load_dataset("Manusagents/Omni-Frontier-Distillation-SFT-Cyber-security-Coding-dataset-collection-v2")