Мульти-учительская дистилляция для SFT

Что внутри

Корпус содержит 57 937 трасс дистилляции от трёх учительских моделей: Qwen3.8-Max-Preview (48 283), GLM-5.2 (5 307) и Kimi Code K3 (4 347). Данные прошли фильтрацию качества и дедупликацию и покрывают математику, код, рассуждения, следование инструкциям, tool-use, науку, длинный контекст, мультиязычность и креативные диалоги. Языки — en, zh, es, fr, de, ja; модальности — tabular и text.

Что можно сделать

• SFT мультиязычной LLM
• Дообучение LoRA под код и математику
• Сравнение multi-teacher distillation

Модели, обученные на нём

• Davd-b01/lfm2.5-2.6B-thinkingcap-distiller-v2Генерация текста 1,6 тыс.
• iromu/LFM2.5-230M-toolsГенерация текста 1,4 тыс.
• iromu/Qwen3-0.6B-tools-GGUF 681
• iromu/Qwen3-0.6B-toolsГенерация текста 543
• iromu/LFM2.5-230M-tools-GGUF 472

Как загрузить

from datasets import load_dataset

ds = load_dataset("r0b0tlab/qwen3.8-max-glm5.2-kimi-k3-distillation")