Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
290 млрд токенов математических данных на английском и китайском в трёх уровнях для претрейна LLM.
Текстовый retrieval-бенчмарк на запросах из StackExchange, LeetCode и математических соревнований.
385 тыс. человеческих предпочтений полезности ответов на вопросы в 18 темах.
10 тыс. задач по Python — от однострочных до алгоритмических — для оценки и обучения генерации кода.
1 млн исполняемых CAD-программ, синтезированных агентом без реальных данных, для text-to-3D и image-to-3D.
50-часовая выборка эгоцентричных видео для классификации и проверки видео-моделей.
Подвыборка The Stack: по 10 тыс. случайных примеров кода на каждый из 30 языков, 2,6 ГБ.
Большой англоязычный текстовый корпус для обучения и дообучения языковых моделей.
Англоязычные отзывы Yelp для обучения и проверки классификации тональности.
Большой китайский датасет веб-текстов с фильтрацией и дедупликацией для предобучения языковых моделей.
Готовые чекпоинты TTS-системы Piper для синтеза речи.
Диалоги для обучения LLM вызову функций, JSON-режиму и структурированному извлечению.
Около 40 млн открытых научных статей на английском, очищенных для предобучения языковых моделей.
Очищенный многоязычный корпус на 167 языках объёмом 6,3 трлн токенов для обучения LLM.
Высококачественная смесь веб-текстов, статей, энциклопедий и кода для второго этапа обучения OLMo2.
900 промптов для проверки агентов на сложных многошаговых задачах поиска информации в 17 областях.
Деконтаминированная версия evol-codealpaca-v1 для обучения генерации кода без утечек тестов.
Инфографические графики с текстовой разметкой для понимания и генерации визуализаций.
Многоязычный ASR-корпус на 65 тыс. часов человеческих транскриптов для 127 языковых вариантов.
Задачи по программированию с рассуждениями, прямыми ответами и синтезом заданий в Parquet.
Огромный англоязычный корпус веб-страниц с образовательным фильтром для предобуче��ия языковых моделей.
Крупный синтетический корпус задач по коду с проверяемыми решениями и тестами для SFT и RL.
33 416 размеченных взаимодействий человека и LLM для классификации небезопасного контента.
Огромный англоязычный набор для Document VQA, использованный при дообучении Idefics3.