К содержимому

Датасет · IFM

Крупный текстовый корпус для претрейна с фокусом на поведение

IFM/Pretrain-Behaviors

Массив текстов из коллекции K2 Horizon на 1–10 млрд записей для обучения моделей рассуждениям, планированию и работе с форматами.

Что внутри

В репозитории собраны текстовые данные из серии K2 Horizon, охватывающие рассуждения (reasoning), планирование, data science, игры, общий контент и переписывание форматов. Объём составляет от 1 до 10 миллиардов примеров. Данные разделены на тематические сабсеты и хранятся в формате parquet с поддержкой стриминга.

Что можно сделать

  • Претрейн и дообучение LLM навыкам логического рассуждения и планирования
  • Улучшение способности модели следовать сложным инструкциям и менять формат текста
Задачи
Генерация текста
Размер
1B–10B записей
Скачиваний за месяц
69,6 тыс.
Лайков
42

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("IFM/Pretrain-Behaviors")