Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
~3,3 млн веб-изображений с подписями из alt-текста для обучения image-to-text.
Аудио-видео датасет для распознавания речи и классификации; объединённые многотомные ZIP-архивы.
HTML-страницы со скриншотами и инструкциями для обучения веб-агентов выполнять задачи на сайтах.
347K математических задач и 7M сгенерированных моделями траекторий рассуждений на английском.
CAD-ассеты и сцены с настроенной физикой для симуляции домашних роботов.
22,7 млн транскриптов 2,06 млн YouTube-видео с CC-BY на шести языках, почти 45 млрд слов.
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
Более 5 млн аниме-картинок с подробной разметкой (в среднем 30 тегов на изображение) — для генеративных моделей.
10K–100K пар предпочтений для DPO — переработанная версия Intel Orca DPO Pairs.
10K–100K задач математических соревнований с полными пошаговыми решениями для обучения рассуждениям.
Текстовый набор для первой стадии SFT OpenCoder — обучения кодовой языковой модели по инструкциям.
418 тыс. задач, 580 тыс. решений с рассуждениями и тесты для обучения код-моделей.
Открытый китайский датасет предобучения объёмом 800 млрд токенов для NLP-сообщества.
1,35 млн профессионально размеченных пар «статья — краткое резюме» BBC на 45 языках, включая малоресурсные.
2 000+ открытых заданий с 137 сайтов для обучения и оценки универсальных веб-агентов.
Набор текстов с разметкой вредных и безопасных запросов и ответов для исследований безопасности LLM.
Набор для оценки медицинских ответов моделей в бенчмарке HealthBench от OpenAI.
Большой английский корпус правовых и административных документов для предобучения.
113 оригинальных долгих задач по разработке ПО на TypeScript, Go, Python, JavaScript и Rust.
Отфильтрованный учебный код из The Stack v2 для обучения языковых моделей программированию.
Малый набор текстов для расчёта importance matrix при квантовании моделей.
4 146 примеров 3D-сцен Three.js с промптами, thinking traces и готовым HTML/JavaScript-кодом.
Почти миллион книг в общественном достоянии из проекта Google Books — 242 млрд токенов текста.
Менее 1 тыс. текстовых примеров для оценки ИИ на экспертных научных задачах.