Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
939 344 примера из смеси наборов для SFT-обучения моделей серии Tulu 3.
Миллионный набор текстовых промптов и сгенерированных видео для исследований text-to-video.
Небольшой англоязычный текстовый датасет для работы LIMO: Less is More for Reasoning.
290 млрд токенов математических данных на английском и китайском в трёх уровнях для претрейна LLM.
Текстовый retrieval-бенчмарк на запросах из StackExchange, LeetCode и математических соревнований.
385 тыс. человеческих предпочтений полезности ответов на вопросы в 18 темах.
1 млн исполняемых CAD-программ, синтезированных агентом без реальных данных, для text-to-3D и image-to-3D.
Подвыборка The Stack: по 10 тыс. случайных примеров кода на каждый из 30 языков, 2,6 ГБ.
Большой англоязычный текстовый корпус для обучения и дообучения языковых моделей.
Англоязычные отзывы Yelp для обучения и проверки классификации тональности.
Большой китайский датасет веб-текстов с фильтрацией и дедупликацией для предобучения языковых моделей.
Диалоги для обучения LLM вызову функций, JSON-режиму и структурированному извлечению.
Очищенный многоязычный корпус на 167 языках объёмом 6,3 трлн токенов для обучения LLM.
Высококачественная смесь веб-текстов, статей, энциклопедий и кода для второго этапа обучения OLMo2.
900 промптов для проверки агентов на сложных многошаговых задачах поиска информации в 17 областях.
Деконтаминированная версия evol-codealpaca-v1 для обучения генерации кода без утечек тестов.
Инфографические графики с текстовой разметкой для понимания и генерации визуализаций.
Многоязычный ASR-корпус на 65 тыс. часов человеческих транскриптов для 127 языковых вариантов.
Задачи по программированию с рассуждениями, прямыми ответами и синтезом заданий в Parquet.
Огромный англоязычный корпус веб-страниц с образовательным фильтром для предобуче��ия языковых моделей.
Крупный синтетический корпус задач по коду с проверяемыми решениями и тестами для SFT и RL.
33 416 размеченных взаимодействий человека и LLM для классификации небезопасного контента.
Огромный англоязычный набор для Document VQA, использованный при дообучении Idefics3.
Обновлённые данные для претрейна LLM: математика, код, английский Common Crawl и синтетика.