ДатасетYelp/yelp_review_full
Yelp Review Full: отзывы Yelp
Англоязычные отзывы Yelp для обучения и проверки классификации тональности.
- Классификация текста
- Английский
26,4 тыс. 157100K–1M записей
Датасеты
Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Для каких моделей
Подобрать датасет под цель
Отвечает DeepSeek · переписка хранится только в этой вкладке
Датасетnvidia/Aegis-AI-Content-Safety-Dataset-2.0
Безопасность ответов LLM: 33 тыс. диалогов
33 416 размеченных взаимодействий человека и LLM для классификации небезопасного контента.
- Классификация текста
- Английский
24,7 тыс. 12010K–100K записей
Датасетunimelb-nlp/wikiann
Мультиязычный NER по статьям Википедии
176 языков, разметка LOC/PER/ORG в IOB2 на основе статей Википедии.
- Разметка токенов
- ace
- af
- als
- +9
21,5 тыс. 1271M–10M записей
ДатасетPKU-Alignment/BeaverTails
Пары вопрос-ответ с разметкой вреда
100K+ QA-пар с человеческой разметкой 14 категорий вреда для AI safety.
- Классификация текста
- Английский
17,2 тыс. 118100K–1M записей
ДатасетPolyAI/banking77
Запросы в банк с разметкой по 77 интентам
13 083 английских клиентских запроса в банковской сфере с метками 77 тонких интентов для классификации.
- Классификация текста
- Английский
17 тыс. 12210K–100K записей
ДатасетCohereLabs/aya_collection
Многоязычная коллекция Aya для NLP-задач
Большая многоязычная коллекция текстов для классификации, суммаризации и перевода.
- Классификация текста
- Суммаризация
- Перевод
- ace
- afr
- amh
- +9
15,4 тыс. 251100M–1B записей
ДатасетUCSC-VLAA/Recap-DataComp-1BИнтересное
1 млрд пар изображение–текст с переописанием
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
- Zero-shot классификация
- Поиск по текстам
- Картинка → текст
15,2 тыс. 2131B–10B записей
Датасетtoxigen/toxigen-data
Неявная ненавистническая речь на английском
Англоязычные тексты, сгенерированные GPT-3, для детекции неявной ненависти (text-classification).
- Классификация текста
14,4 тыс. 83100K–1M записей
Датасетm-a-p/COIG-CQIA
Качественные китайские инструкции для SFT
Высококачественный набор инструкций на китайском для SFT из интернет-вопросов и статей.
- Вопрос-ответ
- Классификация текста
- Генерация текста
- Китайский
13,2 тыс. 79410K–100K записей
Датасетjmhessel/newyorker_caption_contest
Бенчмарк понимания юмора New Yorker
Картинки и подписи из конкурса New Yorker для проверки понимания юмора моделями.
- Картинка → текст
- multiple choice
- Классификация текста
- Английский
13,1 тыс. 78100K–1M записей
ДатасетOpen-Orca/OpenOrca
Дополненный FLAN для обучения инструкциям
Коллекция дополненных FLAN-данных, выровненная с распределением Orca, для обучения инструкциям.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
13 тыс. 1,6 тыс.1M–10M записей
Датасетlmsys/toxic-chat
ToxicChat: токсичные промпты
10K промптов из демо Vicuna с разметкой токсичности для классификации.
- Классификация текста
- Английский
11,5 тыс. 21610K–100K записей
Датасетdell-research-harvard/newswire
Исторические новостные телеграммы США
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
- Классификация текста
- Генерация текста
- Поиск по текстам
- Английский
10,4 тыс. 941M–10M записей
Датасетallenai/wildguardmix
Примеры для обучения безопасных LLM и модерации
Набор текстов с разметкой вредных и безопасных запросов и ответов для исследований безопасности LLM.
- Классификация текста
- Английский
9,9 тыс. 12110K–100K записей🔒 по запросу
Датасетflytech/python-codes-25k
Python-инструкции на 25 тыс. задач
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.
- Классификация текста
- Вопрос-ответ
- Разметка токенов
8,6 тыс. 19310K–100K записей
Датасетzeroshot/twitter-financial-news-sentiment
Сентимент финансовых твитов
Англоязычные финансовые твиты с разметкой на медвежий, бычий и нейтральный сентимент.
- Классификация текста
- Английский
7,4 тыс. 19310K–100K записей
Датасетnvidia/Nemotron-PII
Синтетический PII/PHI-датасет NVIDIA
100 тыс. английских записей с разметкой 55+ категорий PII/PHI для обучения детекции персональных данных.
- Разметка токенов
- Английский
7,3 тыс. 130100K–1M записей
Датасетjackhhao/jailbreak-classification
Классификация jailbreak-промптов
Промпты LLM с метками jailbreak или benign для обучения детекторов вредных запросов.
- Классификация текста
- Английский
7,3 тыс. 1051K–10K записей
Датасетlmarena-ai/arena-human-preference-55k
Предпочтения людей в битвах Chatbot Arena
55 тыс. реальных диалогов и оценок предпочтений между более чем 70 LLM в парных битвах.
- Классификация текста
- Английский
7,2 тыс. 16910K–100K записей
Датасетklue/klue
Корейский NLU-бенчмарк KLUE
8 задач NLU на корейском для оценки языковых моделей: от NER и NLI до MRC и DST.
- Заполнение пропусков
- Вопрос-ответ
- Классификация текста
- Корейский
6,4 тыс. 99100K–1M записей
ДатасетHello-SimpleAI/HC3
HC3: люди против ChatGPT
Корпус ответов людей и ChatGPT на вопросы для сравнения и детекции текста.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
5,8 тыс. 24410K–100K записей
Датасетproj-persona/PersonaHubИнтересное
PersonaHub: персоны для синтетических данных
Коллекция персон для генерации разнообразных синтетических текстов и инструкций.
- Генерация текста
- Классификация текста
- Разметка токенов
- Английский
- Китайский
5,1 тыс. 831100K–1M записей
Датасетkakaobrain/coyo-700m
747 млн пар изображение—текст
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
- Текст → картинка
- Картинка → текст
- Zero-shot классификация
- Английский
4,9 тыс. 177100M–1B записей
ДатасетZefanCai/Open-Jev
Типизированные решения: 12 датасетов Open-Jev
Наборы задач, где по состоянию и вопросу нужно дать типизированное решение: да/нет, класс, число.
- Классификация текста
- Английский
- Китайский
- Турецкий
4,3 тыс. 116100K–1M записей