Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
Сборник задач и данных для обучения и оценки систем понимания английского текста.
Все истории, комментарии, Ask HN, Show HN, вакансии и опросы Hacker News на английском.
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
50 тыс. размеченных отзывов о фильмах для бинарной классификации тональности на английском.
Более миллиона новостных заметок из 2000+ источников с тематической разметкой — для классификации текстов.
13 948 вопросов с выбором ответа по 52 дисциплинам для оценки китайских foundation-моделей.
15 942 естественных вопроса с ответом «да» или «нет» по фрагменту текста на английском.
5 331 положительное и 5 331 отрицательное предложение из отзывов Rotten Tomatoes для классификации тональности.
Бенчмарк MRC с вопросами и 4 вариантами ответа на 122 языковых вариантах, включая малоресурсные.
11 855 предложений из кинорецензий с метками тональности для классификации и анализа состава.
570 тыс. человеческих пар предложений на английском с метками entailment, contradiction и neutral.
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
Английские твиты с метками шести базовых эмоций для классификации текста.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
433 тыс. пар предложений с разметкой textual entailment для обучения и проверки NLI-моделей.
Мультимодальный английский датасет научных вопросов с вариантами ответов и изображениями.
Набор юридических текстовых задач для оценки понимания языка моделями на английском.
Семь задач классификации твитов: ирония, ненависть, оскорбления, stance, эмодзи, эмоции и сентимент.
79,6 млн текстовых примеров на основе Википедии для end-to-end обучения небольших reasoning-моделей.
824 сложных multi-hop вопроса по 2–15 статьям Википедии для проверки фактологии, поиска и рассуждений RAG.
Мультиязычные пары для NLI и других задач: 112,5 тыс. размеченных пар на 14 языках.
Бенчмарк: модель получает неструктурированное состояние и отвечает на пять типизированных вопросов вероятностями.
58 тыс. комментариев Reddit с разметкой по 27 эмоциям или Neutral для классификации.