Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
Сборник задач и данных для обучения и оценки систем понимания английского текста.
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Бенчмарк: модель получает неструктурированное состояние и отвечает на пять типизированных вопросов вероятностями.
58 тыс. комментариев Reddit с разметкой по 27 эмоциям или Neutral для классификации.
Большая многоязычная коллекция текстов для классификации, суммаризации и перевода.
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
Англоязычные тексты, сгенерированные GPT-3, для детекции неявной ненависти (text-classification).
10K промптов из демо Vicuna с разметкой токсичности для классификации.
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
Набор текстов с разметкой вредных и безопасных запросов и ответов для исследований безопасности LLM.
55 тыс. реальных диалогов и оценок предпочтений между более чем 70 LLM в парных битвах.
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
Синтетические финансовые документы на шести языках с разметкой персональных данных для обучения NER.
Мультиязычный набор для обучения фильтров безопасности LLM: джейлбрейки и инъекции.
10 331 промпт с оценками качества от сообщества — для обучения и проверки ранжирования промптов.
Наборы для оценки доменной адаптации LLM в финансах из статьи ICLR 2024.
Небольшой набор джейлбрейк-промптов ChatGPT для изучения обхода ограничений.
340 юридических экзаменов из Швейцарии, ЕС и международного права для проверки reasoning-моделей.
Крупный корпус пар изображение-текст, где фразы из подписи привязаны к соответствующим областям картинки.
100K+ многоходовых диалогов на английском для обучения безопасных собеседников.
Корпус фрагментов муниципального и окружного права США с метками юридической функции и темы.
Годовые отчёты 10-K компаний США, разбитые на разделы и предложения, с метками тональности.