Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Корпус проверенных статей Википедии на английском для обучения и оценки языковых моделей.
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
8,5 тыс. разнообразных школьных математических задач с пошаговыми решениями для проверки рассуждений.
Англоязычный HTML-корпус MINT-1T: часть открытого мультимодального датасета на 1 трлн токенов и 3,4 млрд изображений.
Огромный очищенный корпус Common Crawl с вариантами en, realnewslike и многоязычным mC4.
7 787 научных вопросов с выбором ответа для проверки question-answering моделей.
Бенчмарк из вопросов с выбором ответа по 57 предметам на английском.
Все истории, комментарии, Ask HN, Show HN, вакансии и опросы Hacker News на английском.
1,3 трлн токенов отфильтрованных образовательных веб-страниц на английском для обучения LLM.
12 тыс. сложных вопросов по разным дисциплинам для строгой проверки LLM.
Более 18,5 трлн токенов очищенных и дедуплицированных англоязычных веб-текстов из CommonCrawl для обучения LLM.
Очищенные статьи Википедии на множестве языков, по одному train-сплиту на язык.
Более 1,1 млн часов веб-аудио на 100+ языках для ASR, TTS и обучения аудиопредставлений.
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
Подвыборка из 500 математических задач бенчмарка MATH для проверки пошаговых рассуждений.
Синтетические текстовые данные на английском, сгенерированные SmolLM2 из корпуса FineWeb-Edu.
Английский QA-бенчмарк с вопросами, требующими многошагового рассуждения и общих знаний.
Около 500 проверяемых инструкций для оценки того, насколько LLM следует явным ограничениям.
Синтетические короткие рассказы с малым словарём на английском для обучения и проверки языковых моделей.
Читательский QA-датасет: вопросы к статьям Wikipedia с ответами-фрагментами.
Снимок 3,1 млн статей arXiv с метаданными, файлами и PDF.
Претрейн-корпус FineWeb2 на 1000+ языках для обучения языковых моделей.
13 679 краудсорсинговых экзаменационных вопросов по физике, химии и биологии с 4 вариантами ответа и пояснениями.
860 тыс. математических задач с пошаговыми решениями Chain of Thought для обучения reasoning-моделей.