Датасет · OpenFormosa
Barbet long-context SFT v4
OpenFormosa/barbet-long-context-sft
Масштабный русско- и англоязычный текстовый датасет для SFT с длинным контекстом объемом свыше 10 миллионов записей.
Что внутри
Содержит более 10 миллионов проверенных записей (v4), разделенных по источникам и прошедших GPU-оценку. Представлен в табличном и текстовом форматах на китайском и английском языках (в карточке также упоминается как многоязычный пул данных). Предназначен для работы с моделями большой длины контекста.
Что можно сделать
- Обучение SFT-моделей с длинным контекстом (Long-context SFT)
- Исследование качества переноса и удержания базовых способностей LLM
- Задачи
- Генерация текста
- Языки
- Китайский, Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 23,2 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenFormosa/barbet-long-context-sft")