Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
79,6 млн текстовых примеров на основе Википедии для end-to-end обучения небольших reasoning-моделей.
824 сложных multi-hop вопроса по 2–15 статьям Википедии для проверки фактологии, поиска и рассуждений RAG.
Мультиязычные пары для NLI и других задач: 112,5 тыс. размеченных пар на 14 языках.
Пары документации и кода из GitHub для поиска кода по естественному языку и обучения моделей кода.
Большой двуязычный текстовый датасет для математических рассуждений и agentic search.
Около 900 тыс. соревновательных задач по математике с решениями в формате Chain of Thought.
Параллельные тексты на 100 языках, где одной стороной пары всегда выступает английский.
103K сложных математических задач с проверяемыми ответами, очищенных от утечек, для RL-обучения.
Код из GitHub с уровнями очистки L0–L3 для обучения языковых моделей.
290 млрд токенов математических данных на английском и китайском в трёх уровнях для претрейна LLM.
385 тыс. человеческих предпочтений полезности ответов на вопросы в 18 темах.
Подвыборка The Stack: по 10 тыс. случайных примеров кода на каждый из 30 языков, 2,6 ГБ.
Большой китайский датасет веб-текстов с фильтрацией и дедупликацией для предобучения языковых моделей.
Диалоги для обучения LLM вызову функций, JSON-режиму и структурированному извлечению.
Очищенный многоязычный корпус на 167 языках объёмом 6,3 трлн токенов для обучения LLM.
Высококачественная смесь веб-текстов, статей, энциклопедий и кода для второго этапа обучения OLMo2.
900 промптов для проверки агентов на сложных многошаговых задачах поиска информации в 17 областях.
Деконтаминированная версия evol-codealpaca-v1 для обучения генерации кода без утечек тестов.
Задачи по программированию с рассуждениями, прямыми ответами и синтезом заданий в Parquet.
Огромный англоязычный корпус веб-страниц с образовательным фильтром для предобуче��ия языковых моделей.
Обновлённые данные для претрейна LLM: математика, код, английский Common Crawl и синтетика.
Синтетические personas на основе демографии, географии и черт характера жителей Вьетнама.
3,2 млн диалогов людей с ChatGPT без токсичных входов и ответов.
Набор инструкций по программированию на английском для обучения генерации кода с обратной связью.