Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
1,3 трлн токенов отфильтрованных образовательных веб-страниц на английском для обучения LLM.
12 тыс. сложных вопросов по разным дисциплинам для строгой проверки LLM.
Более 18,5 трлн токенов очищенных и дедуплицированных англоязычных веб-текстов из CommonCrawl для обучения LLM.
Более 1,1 млн часов веб-аудио на 100+ языках для ASR, TTS и обучения аудиопредставлений.
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
Синтетические текстовые данные на английском, сгенерированные SmolLM2 из корпуса FineWeb-Edu.
Английский QA-бенчмарк с вопросами, требующими многошагового рассуждения и общих знаний.
Снимок 3,1 млн статей arXiv с метаданными, файлами и PDF.
Претрейн-корпус FineWeb2 на 1000+ языках для обучения языковых моделей.
Крупнейший открытый набор исходного кода с GitHub с полным контекстом репозиториев для предобучения code LLM.
Крупный корпус исходного кода на десятках языков программирования с permissive-лицензиями.
Экспертные вопросы с выбором ответа по биологии, физике и химии для проверки сложного научного reasoning.
Крупнейший открытый корпус текстов из PDF: 3 трлн токенов, 475 млн документов и 1733 языка.
Набор задач по спортивному программированию с разных платформ для обучения и проверки моделей.
Набор инструкций OSS-Instruct, сгенерированный GPT-3.5-turbo-1106 для задач генерации кода.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Обработанный UltraFeedback: 64 тыс. промптов с ответами моделей и оценками GPT-4, сведёнными в пары предпочтений.
Код из GitHub с уровнями очистки L0–L3 для обучения языковых моделей.
385 тыс. человеческих предпочтений полезности ответов на вопросы в 18 темах.
Параллельные тексты для оценки машинного перевода на многих языках, включая редкие.
LHTB проверяет, как LLM-агенты удерживают полезную работу в контейнерном терминале на сотнях шагов.
Обновлённая Wikipedia из HTML-дампов августа 2025: 325 языков, чистые статьи и метаданные.
Данные для обучения и оценки безопасных ответов: предпочтения, пары вопрос-ответ и промпты на английском.