Датасет · IFM
Крупный текстовый корпус для претрейна с фокусом на поведение
IFM/Pretrain-Behaviors
Массив текстов из коллекции K2 Horizon на 1–10 млрд записей для обучения моделей рассуждениям, планированию и работе с форматами.
Что внутри
В репозитории собраны текстовые данные из серии K2 Horizon, охватывающие рассуждения (reasoning), планирование, data science, игры, общий контент и переписывание форматов. Объём составляет от 1 до 10 миллиардов примеров. Данные разделены на тематические сабсеты и хранятся в формате parquet с поддержкой стриминга.
Что можно сделать
- Претрейн и дообучение LLM навыкам логического рассуждения и планирования
- Улучшение способности модели следовать сложным инструкциям и менять формат текста
- Задачи
- Генерация текста
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 69,6 тыс.
- Лайков
- 42
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("IFM/Pretrain-Behaviors")