Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
Сборник задач и данных для обучения и оценки систем понимания английского текста.
1,3 трлн токенов отфильтрованных образовательных веб-страниц на английском для обучения LLM.
12 тыс. сложных вопросов по разным дисциплинам для строгой проверки LLM.
Более 18,5 трлн токенов очищенных и дедуплицированных англоязычных веб-текстов из CommonCrawl для обучения LLM.
4 трлн токенов и 3 млрд документов для предобучения LLM; сильные результаты на бенчмарках.
Более 1,1 млн часов веб-аудио на 100+ языках для ASR, TTS и обучения аудиопредставлений.
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
Открытый мультиязычный корпус на 2,27 трлн токенов: книги, пресса, наука, законы и код.
Синтетические текстовые данные на английском, сгенерированные SmolLM2 из корпуса FineWeb-Edu.
Английский QA-бенчмарк с вопросами, требующими многошагового рассуждения и общих знаний.
Снимок 3,1 млн статей arXiv с метаданными, файлами и PDF.
Претрейн-корпус FineWeb2 на 1000+ языках для обучения языковых моделей.
Крупнейший открытый набор исходного кода с GitHub с полным контекстом репозиториев для предобучения code LLM.
Крупный корпус исходного кода на десятках языков программирования с permissive-лицензиями.
Экспертные вопросы с выбором ответа по биологии, физике и химии для проверки сложного научного reasoning.
Крупнейший открытый корпус текстов из PDF: 3 трлн токенов, 475 млн документов и 1733 языка.
Набор задач по спортивному программированию с разных платформ для обучения и проверки моделей.
Крупный английский корпус учебных и синтетических текстов для предобучения небольших языковых моделей.
Открытая база продуктов с ингредиентами, аллергенами и пищевой ценностью на нескольких языках.
34–54 млрд токенов математических учебных текстов, отфильтрованных из CommonCrawl для обучения моделей.
1 млн синтетических примеров для SFT, на которых обучали семейство SmolLM2-Instruct.
Набор инструкций OSS-Instruct, сгенерированный GPT-3.5-turbo-1106 для задач генерации кода.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.