Датасет · proj-persona
PersonaHub: персоны для синтетических данных
proj-persona/PersonaHub
Коллекция персон для генерации разнообразных синтетических текстов и инструкций.
Что внутри
Репозиторий выпускает данные из статьи о масштабировании синтетических данных с помощью 1 млрд персон. Это текстовые персоны, автоматически собранные из веба, на английском и китайском. Подход использует разные точки зрения внутри LLM, чтобы создавать разнообразные синтетические данные. В карточке указаны задачи text-generation, классификации и другие.
Что можно сделать
- Генерировать синтетические SFT-данные с разными персонами
- Обучить классификатор на описаниях персон
- Проверить diversity-подход в synthetic data
- Задачи
- Генерация текста, Классификация текста, Разметка токенов, Заполнение пропусков, Вопросы по таблицам
- Языки
- Английский, Китайский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 5,1 тыс.
- Лайков
- 831
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("proj-persona/PersonaHub")