Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный мультиязычный бенчмарк для оценки code-LLM по исполнению программ, а не по совпадению текста.
Открытая копия WebText от OpenAI на английском — датасет, использованный для обучения GPT-2.
Около 200 тыс. английских школьных задач по математике с ответами, сгенерированными GPT-4-Turbo.
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
Англоязычный QA-бенчмарк: реальные вопросы, для ответа нужно прочитать статью Wikipedia.
1,2 млн строк открытых данных для обучения моделей рассуждению; третья версия OpenThoughts.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Реальные многоязычные беседы пользователей с ChatGPT с демографией и метаданными запросов.
Вопросы с изображениями и текстом по разным дисциплинам для проверки мультимодального понимания.
Полные статьи Википедии, очищенные от разметки и лишних разделов, по одному сплиту на язык.
Обработанный UltraFeedback: 64 тыс. промптов с ответами моделей и оценками GPT-4, сведёнными в пары предпочтений.
Мультимодальный английский датасет научных вопросов с вариантами ответов и изображениями.
Огромный англоязычный текстовый корпус для предобучения LLM с обновлёнными источниками v1.1.
Набор юридических текстовых задач для оценки понимания языка моделями на английском.
79,6 млн текстовых примеров на основе Википедии для end-to-end обучения небольших reasoning-моделей.
824 сложных multi-hop вопроса по 2–15 статьям Википедии для проверки фактологии, поиска и рассуждений RAG.
Мультиязычные пары для NLI и других задач: 112,5 тыс. размеченных пар на 14 языках.
Пары документации и кода из GitHub для поиска кода по естественному языку и обучения моделей кода.
Большой двуязычный текстовый датасет для математических рассуждений и agentic search.
Около 900 тыс. соревновательных задач по математике с решениями в формате Chain of Thought.
Параллельные тексты на 100 языках, где одной стороной пары всегда выступает английский.
103K сложных математических задач с проверяемыми ответами, очищенных от утечек, для RL-обучения.
Код из GitHub с уровнями очистки L0–L3 для обучения языковых моделей.
Бенчмарк TACO: 25 443 задачи по Python для обучения и проверки генерации кода.