Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Набор текстов с разметкой вредных и безопасных запросов и ответов для исследований безопасности LLM.
113 оригинальных долгих задач по разработке ПО на TypeScript, Go, Python, JavaScript и Rust.
Отфильтрованный учебный код из The Stack v2 для обучения языковых моделей программированию.
Малый набор текстов для расчёта importance matrix при квантовании моделей.
4 146 примеров 3D-сцен Three.js с промптами, thinking traces и готовым HTML/JavaScript-кодом.
Почти миллион книг в общественном достоянии из проекта Google Books — 242 млрд токенов текста.
Менее 1 тыс. текстовых примеров для оценки ИИ на экспертных научных задачах.
Бинаризованные предпочтения для DPO на основе Capybara: многоходовые диалоги для обучения чат-моделей.
Предварительно разобранные статьи английской и французской Википедии в структурированном виде.
15 млн пар «изображение — текст» на английском для обучения и проверки открытых мультимодальных моделей.
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
Высококачественный поднабор инструкций из веб-форумов для обучения LLM.
1,7 млн открытых трасс агентов из 219 наборов: код, shell, математика и работа с компьютером.
Размеченные обращения в поддержку на английском для дообучения LLM-чатботов.
Крупная коллекция image-centric данных для обучения и проверки vision-language моделей; поднаборы в JSONL с описанием.
Около 250 млн эмбеддингов параграфов Википедии для семантического поиска и RAG.
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.
Большой многоязычный корпус из Common Crawl, очищенный для обучения языковых моделей.
Выровненные книги на нескольких языках для обучения и проверки переводческих моделей.
Статьи arXiv и аннотации для обучения суммаризации длинных документов на английском.
Задачи многодневного планирования поездок и покупок с проверяемыми ограничениями для оценки LLM-агентов.
1 585 статей NLP и 5 049 вопросов читателей с ответами практиков — для обучения и оценки QA.
2556 запросов с доказательствами в 2–4 документах для проверки retrieval и рассуждений в RAG.
Посттренировочные SFT и RL данные NVIDIA для математики, кода, общих рассуждений и следования инструкциям.