Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Обновляемый бенчмарк для генерации кода: задачи и проверка решений.
113 тыс. пар вопрос-ответ по Википедии с опорными фактами для ответа по нескольким документам.
Классический набор изображений ILSVRC 2012 по иерархии WordNet для обучения и оценки классификаторов.
Англо-китайский открытый корпус для предобучения языковых моделей, по карточке — 4,69 трлн токенов.
650K+ троек вопрос-ответ-доказательство для чтения и QA на английском.
Очень большой многоязычный корпус NVIDIA для претрейна LLM с математикой, кодом и Q&A.
52 тыс. инструкций и демонстраций от text-davinci-003 для instruction-tuning языковых моделей.
5 трлн токенов веб-текстов, учебных материалов, математики, кода и научных статей для предобучения LLM.
Крупнейший открытый корпус текстов из PDF: 3 трлн токенов, 475 млн документов и 1733 языка.
200 тыс. отфильтрованных диалогов на английском, использованных для обучения Zephyr-7B-β.
Свыше 300 тыс. английских новостных статей CNN и Daily Mail для extractive и abstractive суммаризации.
15 942 естественных вопроса с ответом «да» или «нет» по фрагменту текста на английском.
70 тыс. чёрно-белых изображений рукописных цифр 28×28 для обучения и проверки классификаторов.
Живой лидерборд и датасет для проверки, как LLM вызывают функции и инструменты в агентских сценариях.
1000 часов захваченных движений, перетаргетированных на гуманоида Unitree G1, в CSV.
Промпты и датасеты для 16 NLP-задач на 277 языках — расширение xP3 для обучения мультиязычных моделей.
Более 10 000 часов VTLA-данных с тактильными сенсорами для обучения роботов.
Пары вопрос–ответ по математике, дополненные из train-наборов GSM8K и MATH для обучения рассуждениям.
Бенчмарк из 1651 PDF-страницы для оценки парсинга документов разных типов и языков.
Полный архив комментариев Nico Nico за 11 лет до закрытия старой системы.
30 задач AIME 2024 на английском в JSONL для проверки математического reasoning.
306 тыс. задач и миллионы решений CoT/TIR для обучения математическому reasoning LLM.
194 тыс. медицинских экзаменационных вопросов с вариантами ответов на английском.
Гибридный синтетико-реальный датасет траекторий для обучения роботов-манипуляторов.