Дистиллированный корпус DeepSeek-R1-0528

Что внутри

Это корпус высококачественных рассуждений, дистиллированных из модели DeepSeek-R1-0528. Авторы собрали 2,6 млн разнообразных запросов из разных доменов и использовали DeepSeek-R1-0528 как teacher-модель. Данные на английском и китайском, размер — от 1M до 10M примеров.

Что можно сделать

• Дообучать LLM на рассуждениях через SFT
• Тренировать LoRA для chain-of-thought и следования инструкциям
• Сравнивать дистилляцию из DeepSeek-R1-0528 с другими teacher-моделями

Модели, обученные на нём

• mradermacher/Zhi-Create-Qwen3-32B-i1-GGUF 1,8 тыс.
• mradermacher/Zhi-Create-Qwen3-32B-GGUF 476
• Zhihu-ai/Zhi-Create-Qwen3-32B-Eagle3 46
• Zhihu-ai/Zhi-Create-Qwen3-32B-FP8Генерация текста 26
• Zhihu-ai/Zhi-Create-Qwen3-32BГенерация текста 22

Как загрузить

from datasets import load_dataset

ds = load_dataset("a-m-team/AM-DeepSeek-R1-0528-Distilled")