Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Набор инструкций OSS-Instruct, сгенерированный GPT-3.5-turbo-1106 для задач генерации кода.
Датасет для чтения и QA: 100 тыс. вопросов SQuAD 1.1 и 50 тыс. вопросов без ответа по статьям Wikipedia.
Более 28 тыс. отрывков и почти 100 тыс. вопросов с вариантами ответа из английских школьных экзаменов Китая.
2 294 пары issue–pull request из Python-репозиториев для проверки решения GitHub-задач.
Видеокорпус на английском для обучения моделей отвечать на вопросы по видео.
1M–10M текстовых примеров в трёх подмножествах для среднего этапа, SFT и preference-обучения SmolLM3.
Крупный мультидоменный корпус изображений и текста для 4D-моделирования мира и робототехники.
570 тыс. человеческих пар предложений на английском с метками entailment, contradiction и neutral.
Открытая копия WebText от OpenAI на английском — датасет, использованный для обучения GPT-2.
Синтетические игровые спрайты 16×16 с английскими описаниями для обучения text-to-image моделей и LoRA.
Около 200 тыс. английских школьных задач по математике с ответами, сгенерированными GPT-4-Turbo.
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
Небольшой англоязычный бенчмарк для оценки успешности джейлбрейков и защиты от них у LLM.
642 задачи из реальных PR: агент правит репозиторий, а патч проверяют скрытые тесты.
1 403 PDF и 7 010 тестов для проверки OCR-систем на перевод PDF в Markdown с сохранением структуры.
Англоязычный QA-бенчмарк: реальные вопросы, для ответа нужно прочитать статью Wikipedia.
1,2 млн строк открытых данных для обучения моделей рассуждению; третья версия OpenThoughts.
Наборы временных рядов для обучения и оценки моделей прогнозирования Chronos.
Очищенная версия GitHub-кода: 115 млн файлов на 32 языках программирования, почти 1 ТБ текста.
Англоязычные вопросы с экзаменов USMLE и четыре варианта ответа для обучения и проверки медицинских LLM.
Английские твиты с метками шести базовых эмоций для классификации текста.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Реальные многоязычные беседы пользователей с ChatGPT с демографией и метаданными запросов.
Переведённая часть MNLI для предсказания логического следования, противоречия или нейтральности между двумя фразами.