Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
824 сложных multi-hop вопроса по 2–15 статьям Википедии для проверки фактологии, поиска и рассуждений RAG.
Мультиязычные пары для NLI и других задач: 112,5 тыс. размеченных пар на 14 языках.
Бенчмарк: модель получает неструктурированное состояние и отвечает на пять типизированных вопросов вероятностями.
58 тыс. комментариев Reddit с разметкой по 27 эмоциям или Neutral для классификации.
Англоязычные отзывы Yelp для обучения и проверки классификации тональности.
33 416 размеченных взаимодействий человека и LLM для классификации небезопасного контента.
Структурированные тексты исторических газет на английском для предобучения LLM и RAG.
306 207 сканов 3D-МРТ мозга с клиническими данными для self-supervised learning.
176 языков, разметка LOC/PER/ORG в IOB2 на основе статей Википедии.
100K+ QA-пар с человеческой разметкой 14 категорий вреда для AI safety.
13 083 английских клиентских запроса в банковской сфере с метками 77 тонких интентов для классификации.
Большая многоязычная коллекция текстов для классификации, суммаризации и перевода.
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
Высококачественный набор инструкций на китайском для SFT из интернет-вопросов и статей.
Коллекция дополненных FLAN-данных, выровненная с распределением Orca, для обучения инструкциям.
10K промптов из демо Vicuna с разметкой токсичности для классификации.
Более 1M фраз на 51 языке с разметкой интентов и слотов для NLU в голосовых ассистентах.
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
Набор текстов с разметкой вредных и безопасных запросов и ответов для исследований безопасности LLM.
Около 5 тыс. английских предложений из финансовой сферы с метками positive, negative или neutral.
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.
Англоязычные финансовые твиты с разметкой на медвежий, бычий и нейтральный сентимент.
100 тыс. английских записей с разметкой 55+ категорий PII/PHI для обучения детекции персональных данных.
Промпты LLM с метками jailbreak или benign для обучения детекторов вредных запросов.