К содержимому

Датасет · davidheineman

Датасет для SFT и RL тренировок

davidheineman/tiny-rl-refined-tasks-v5

Текстовые задачи для SFT и RL с токенами предсказания и наградами моделей.

Что внутри

Датасет содержит англоязычные текстовые данные размером от 1M до 10M. Каждая задача включает токены для SFT предсказания и RL сэмплирования, а также оценки reward-модели Skywork 3B.

Что можно сделать

  • Обучение и доработка языковых моделей с помощью SFT
  • Проведение RLHF экспериментов
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
39,4 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("davidheineman/tiny-rl-refined-tasks-v5")