Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
30 задач AIME 2024 на английском в JSONL для проверки математического reasoning.
306 тыс. задач и миллионы решений CoT/TIR для обучения математическому reasoning LLM.
194 тыс. медицинских экзаменационных вопросов с вариантами ответов на английском.
Корпус веб- и вопросно-ответных текстов для предобучения моделей из релиза K2 Horizon.
Набор задач по спортивному программированию с разных платформ для обучения и проверки моделей.
Крупнейший очищенный корпус для предобучения на 22 индийских языках, 251 млрд токенов.
Бенчмарк MRC с вопросами и 4 вариантами ответа на 122 языковых вариантах, включая малоресурсные.
Крупный англоязычный датасет визуальных вопросов-ответов и инструкций для обучения мультимодальных моделей.
Траектории агентов из веб-навигации, кода, бытовых задач и других сред на английском.
Открытый математический датасет на английском объёмом более 300 млрд токенов для предобучения языковых моделей.
Огромный очищенный корпус по STEM, математике, коду и reasoning на английском и китайском.
Крупнейший набор схем и PCB: исходники, изображения, метаданные и связанные файлы плат.
5 млн примеров для SFT кодовых LLM: разнообразные инструкции на английском от NVIDIA.
Отфильтрованное по качеству подмножество FineWeb2 на 20 языках для более быстрого предобучения языковых моделей.
1–10 млрд текстов на английском и китайском после пайплайна проверки качества.
15 тыс. записей instruction-following на английском в категориях InstructGPT для дообучения и проверки моделей.
20 задач на английском и китайском для проверки LLM на длинном контексте: QA, суммаризация, код.
Медицинские исследовательские вопросы с ответами yes/no/maybe по abstracts статей PubMed.
10 тыс. инструкций и ответов от людей для SFT, чтобы модели лучше следовали командам.
Корпус из 115 млн файлов кода GitHub на 32 языках для обучения и проверки генерации кода.
Набор инструкций OSS-Instruct, сгенерированный GPT-3.5-turbo-1106 для задач генерации кода.
Датасет для чтения и QA: 100 тыс. вопросов SQuAD 1.1 и 50 тыс. вопросов без ответа по статьям Wikipedia.
Более 28 тыс. отрывков и почти 100 тыс. вопросов с вариантами ответа из английских школьных экзаменов Китая.
Китайские образовательные тексты с оценками 2–3 из источников map-cc и opencsg-cc.