Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Набор для обучения и проверки LLM, которые по запросу на естественном языке вызывают API и снижают галлюцинации.
Разнообразный китайский корпус инструкций для обучения и выравнивания LLM.
1K–10K текстовых заданий для оценки LLM в блокчейне, криптовалютах и Web3.
Около 50 тыс. пар инструкция — ответ на китайском, сгенерированных GPT-4 по методу Alpaca.
Чат-промпты с несколькими ответами и ранжированием от GPT-4 — для обучения reward-моделей и RLHF.
От 1 до 10 млн англоязычных примеров с цепочками рассуждений для генерации и классификации.
6 ГБ очищенного английского текста из The Pile для обучения моделей в условиях малых данных.
Англоязычные диалоги с эмоциональными реакциями для эмпатичных чат-моделей.
Обучающие инструкции WizardLM для SFT языковых моделей.
51 набор китайской эротической литературы в JSON: короткие рассказы и личный опыт, для исследований и обучения моделей.
41,8 тыс. пар научных задач и решений на английском и китайском, к каждой — одно или несколько изображений.
63 357 научных статей arXiv 2023 года в multi-markdown с метаданными для поиска, QA и обучения языковых моделей.
Мультиязычный набор для обучения фильтров безопасности LLM: джейлбрейки и инъекции.
Около 250 тыс. диалогов между пациентом и врачом для обучения медицинского чатбота.
Часть hh-static для обучения reward-моделей после supervised fine-tuning.
110 тыс. китайских примеров с ответами и рассуждениями R1 для SFT.
Изображения и текст на английском для обучения и проверки доверенных мультимодальных моделей через RLAIF.
Очищенная многоязычная версия веб-корпуса Common Crawl на основе mC4 от AllenAI.
Крупный набор медицинских пар изображение-вопрос-ответ из PubMed на английском.
Пережатая версия Danbooru 2023: очищенные изображения до 4 Мп для обучения генеративных моделей.
2,2 тыс. коротких многотуровых диалогов на английском для дообучения небольших LLM бытовым и научным темам.
50 тыс. нефильтрованных пар инструкция–ответ на английском для обучения языковых моделей.
1,79 млн медицинских примеров с рассуждениями от 7 моделей для SFT.
Медицинские вопросы-ответы из экзаменов на английском и китайском для обучения и проверки QA.