Многоязычный корпус из Common Crawl
Огромный многоязычный текстовый корпус, полученный фильтрацией Common Crawl через Ungoliant.
- Заполнение пропусков
- Генерация текста
Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 220, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Огромный многоязычный текстовый корпус, полученный фильтрацией Common Crawl через Ungoliant.
Посты из ленты Bluesky Social, собранные через firehose API для исследования соцсетей и обучения моделей.
Пары, цепочки рассуждений и многошаговые траектории для preference learning.
Синтетические пары вопрос-ответ по программированию для обучения ассистентов по коду.
10 000 часов синхронизированного видео с головы и запястий, с 3D-позой рук для обучения роботов.
Тексты с OCR-ошибками и исправлениями на французском, английском, итальянском и немецком.
Англоязычные задачи по физике с уравнениями и решениями для тренировки и проверки моделей.
Клинические случаи, классические тексты и QA по традиционной китайской медицине на китайском.
123 тыс. самых сложных image-text примеров из MMFineReason, на которых Qwen3-VL-4B-Thinking стабильно ошибается.
Английский корпус из 0,26 млн диалогов врачей и пациентов для медицинских QA-систем.
Около 2 млн китайских пар instruction/output, сгенерированных проектом BELLE для обучения моделей инструкциям.
1–10 млн пар вопрос-ответ и VQA на 39 языках для обучения мультимодальных LLM.
1–10 млн аннотаций из 3DPW, COCO, MPII и других наборов для задач SAM 3D Body.
Набор изображений с текстовыми описаниями для проверки, насколько MLLM точно локализуют объекты.
Синтетические короткие примеры кода на 13 языках программирования и БД — чтобы LLM учились рассуждать кодом.
Крупный набор изображений с подписями под свободной лицензией для обучения генеративных моделей.
От 1 до 10 млн китайских пар инструкция–ответ для SFT, включая дистилляцию DeepSeek-R1.
Объединённый набор инструкций из OIG, Dolly, UltraChat и других источников для SFT.
Тексты с фидбеком на английском, чтобы научить открытую LLM тонко оценивать длинные ответы.
Крупный португалоязычный набор синтетических персон, привязанных к реальным распределениям Бразилии.
Крупный англоязычный видео-датасет с временными сегментами действий и текстовыми описаниями.
Метаданные почти 660 тыс. AI-песен Suno с мультиязычными описаниями и аудиомодальностью.
2,7 млн коротких историй на английском, очищенных от проблем исходного TinyStories, для обучения небольших LLM.
35 000+ часов японской речи из телепередач для обучения и проверки ASR-моделей.