К содержимому
Датасеты

PersonaHub

датасет на 370 млн персон для синтеза данных

2 мин чтения

PersonaHub — это масштабный набор данных от Tencent AI Lab для генерации разнообразных синтетических примеров с помощью LLM (больших языковых моделей). В основе лежит подход persona-driven data synthesis: модель ставит себя на место конкретного человека с уникальным бэкграундом, профессией или интересами, чтобы выдавать нестандартные задачи и тексты без однообразия. В открытом репозитории опубликованы 370 000 000 отобранных описаний персон (и ранний превью-набор на 200 000), автоматически собранных из веб-данных, а также готовые примеры сгенерированных на их основе задач. Датасет пригодится исследователям и разработчикам, которые обучают или дообучают языковые модели и ищут способ масштабировать качественные синтетические выборки.

Ключевые особенности

  • Огромный масштаб персон: в репозиторий загружены 370 млн элитных персон (добавлены в феврале 2025 года) и базовый срез на 200 тыс. персон для быстрого старта.
  • Готовые синтетические выборки: внутри лежат 50 тыс. математических задач, 50 тыс. задач на логику, 50 тыс. инструкций, 10 тыс. научно-популярных текстов, 10 тыс. игровых NPC и 5 тыс. описаний инструментов (функций).
  • Два языка: данные представлены на английском (en) и китайском (zh) языках.
  • Гибкая генерация: авторы выложили готовые скрипты и шаблоны промптов для синтеза новых данных как через API OpenAI (GPT-4o), так и локально через open-source модели с помощью vllm и transformers.

Что можно сделать

  • Обучить или дообучить LLM: использовать готовые подборки по математике, логике и инструкциям для SFT (дообучения с учителем) и прокачки рассуждений модели.
  • Нагенерировать собственный датасет: взять персоны из набора и с помощью скриптов авторов создать миллионы уникальных пользовательских запросов под свой домен, не упираясь в шаблонные формулировки.
  • Создать персонажей и тулзы для агентов: использовать готовые профили NPC для игровых диалогов или выборку из 5 000 функций для обучения моделей работе с внешними инструментами (function calling).

Пример

from datasets import load_dataset

# Загрузка среза с математическими задачами или персонами
dataset = load_dataset("proj-persona/PersonaHub", "math")
print(dataset["train"][0])
ПодробнееЯзыки: английский и китайский.
Генерация примеров: данные созданы с использованием GPT-4, Llama-3 и Qwen.
Доступ: датасет можно просматривать прямо в браузере через пространство Argilla.
Ограничения: материалы предназначены только для исследовательских целей (AS-IS) и требуют соблюдения лицензий исходных моделей.
Обсудить Telegram 832 5,2 тыс.

О модели

datasets/proj-persona/PersonaHub
Автор
proj-persona
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

5,2 тыс.832

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Датасеты

FineWeb2

FineWeb2
Датасеты

FinePDFs

FinePDFs