Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
642 задачи из реальных PR: агент правит репозиторий, а патч проверяют скрытые тесты.
1 403 PDF и 7 010 тестов для проверки OCR-систем на перевод PDF в Markdown с сохранением структуры.
Англоязычный QA-бенчмарк: реальные вопросы, для ответа нужно прочитать статью Wikipedia.
1,2 млн строк открытых данных для обучения моделей рассуждению; третья версия OpenThoughts.
240 тыс. траекторий в 3 000+ сценах для обучения и оценки навигации embodied AI.
Набор промптов и датасетов на 46 языках для 16 NLP-задач, использованный при обучении BLOOMZ и mT0.
Наборы временных рядов для обучения и оценки моделей прогнозирования Chronos.
Очищенная версия GitHub-кода: 115 млн файлов на 32 языках программирования, почти 1 ТБ текста.
Англоязычные вопросы с экзаменов USMLE и четыре варианта ответа для обучения и проверки медицинских LLM.
Английские твиты с метками шести базовых эмоций для классификации текста.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Реальные многоязычные беседы пользователей с ChatGPT с демографией и метаданными запросов.
Переведённая часть MNLI для предсказания логического следования, противоречия или нейтральности между двумя фразами.
Аудиокниги LibriVox на 8 языках с текстами для ASR, TTS и речевых исследований.
Вопросы с изображениями и текстом по разным дисциплинам для проверки мультимодального понимания.
433 тыс. пар предложений с разметкой textual entailment для обучения и проверки NLI-моделей.
Полные статьи Википедии, очищенные от разметки и лишних разделов, по одному сплиту на язык.
161 тыс. сообщений на 35 языках с оценками качества и деревьями диалогов для обучения ассистентов.
Обработанный UltraFeedback: 64 тыс. промптов с ответами моделей и оценками GPT-4, сведёнными в пары предпочтений.
Мультимодальный английский датасет научных вопросов с вариантами ответов и изображениями.
Полный набор задач FLAN в parquet — около 300 ГБ английских текстов для обучения инструкциям.
Огромный англоязычный текстовый корпус для предобучения LLM с обновлёнными источниками v1.1.
1 440 de novo минибелков 50–120 остатков против 16 целей, созданных агентами Claude и проверенных в CRO.
Более 10 тыс. задач Codeforces для обучения и проверки рассуждений кодовых моделей.