Qwen2.5-0.5B-Instruct-YandexQ-CoT-PoC
компактная модель с рассуждениями на русском
2 мин чтенияобновлено
Это экспериментальный файнтюн (дообученная версия) сверхлёгкой языковой модели Qwen2.5-0.5B-Instruct от автора sapbot, наученный рассуждать перед ответом на русском языке. Модель работает в формате CoT (Chain-of-Thought — генерация цепочки логических шагов перед финальным ответом) и построена на базе 4-битной версии Qwen2.5-0.5B через библиотеку PEFT и фреймворк Unsloth. В отличие от оригинальной базы, она заточена под русскоязычные вопросы и ответы в стиле платформы Яндекс.Кью, хотя сам автор честно предупреждает, что это сырой PoC (прототип для проверки идеи), склонный к галлюцинациям. Подойдёт энтузиастам, которые исследуют возможности крошечных SLM (малых языковых моделей) на слабом железе.
Ключевые особенности
- Построена на компактной базе Qwen2.5-0.5B-Instruct (4-bit) и оформлена как PEFT-адаптер.
- Обучена генерировать пошаговые рассуждения (CoT) исключительно на русском языке.
- Датасет собран из вопросов и ответов Яндекс.Кью, а цепочки рассуждений синтезированы с помощью Gemma 3 4B.
- Выпущена под свободной лицензией MIT, но позиционируется строго как тестовый эксперимент.
Что можно сделать
- Проверить на практике, насколько модель размером 0.5B способна поддерживать формат рассуждений на русском языке.
- Использовать для генерации черновых примеров CoT-ответов в исследовательских экспериментах.
- Взять за ориентир для собственного дообучения, но для реальных задач автор советует выбрать более надёжные модели вроде Qwen3.5.
Пример
В карточке нет готового кода запуска, но приведён показательный сценарий поведения модели: при подаче даты в интерфейсе Unsloth Studio она начинает воспринимать её как вопрос о самой дате и выдумывать факты. Применять модель лучше для простых тестов русскоязычных вопросов в духе Яндекс.Кью, где не требуется фактическая точность.
Подробнее
Обучение: 9 минут 25 секунд на видеокарте AMD Radeon RX 6600 (8 ГБ VRAM) и 16 ГБ RAM с использованием Unsloth 2026.11.4 и PEFT 0.18.1.Ограничения: данные не фильтровались и не цензурировались, модель сильно галлюцинирует, путается в контексте и не подходит для продакшена.
Экологический след: 0.15 часа вычислений, около 16.9 г CO₂.










Комментарии