К содержимому

Датасет · OpenFormosa

Barbet long-context SFT v4

OpenFormosa/barbet-long-context-sft

Масштабный русско- и англоязычный текстовый датасет для SFT с длинным контекстом объемом свыше 10 миллионов записей.

Что внутри

Содержит более 10 миллионов проверенных записей (v4), разделенных по источникам и прошедших GPU-оценку. Представлен в табличном и текстовом форматах на китайском и английском языках (в карточке также упоминается как многоязычный пул данных). Предназначен для работы с моделями большой длины контекста.

Что можно сделать

  • Обучение SFT-моделей с длинным контекстом (Long-context SFT)
  • Исследование качества переноса и удержания базовых способностей LLM
Задачи
Генерация текста
Языки
Китайский, Английский
Размер
10M–100M записей
Скачиваний за месяц
23,2 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("OpenFormosa/barbet-long-context-sft")