Kefir 2 SFT
эксперимент по обучению компактной MoE-модели вовремя останавливаться
2 min readupdated
Перед нами два исследовательских чекпоинта языковой модели Kefir 2 на 207 млн параметров с архитектурой MoE (Mixture of Experts — модель с несколькими экспертными подсетями). Главная проблема базовой чат-версии заключалась в том, что она знала правильные ответы, но редко останавливала генерацию самостоятельно. Автор от автора EdoardoAvenia исправил это при SFT-дообучении (Supervised Fine-Tuning — обучение с учителем на диалогах), увеличив в 4 раза вес ошибки на токене конца ответа (ID 0). В итоге доля ответов, которые модель завершает сама, выросла почти вдвое без потери точности. Чекпоинты выложены в формате safetensors для воспроизводимости экспериментов и пригодятся исследователям компактных языковых архитектур.
Ключевые особенности
- Необычная архитектура: модель использует механизм CaseBits (токен в нижнем регистре плюс отдельная голова на 4 варианта регистра) и хешированную n-gram память.
- Контроль завершения ответа: четырехкратное усиление веса потери на конечном токене (ID 0) подняло долю самостоятельных остановок с 38.6% до 64.7% (seed 17) и с 40.3% до 66.1% (seed 18).
- Сохранение качества: точность ответов и loss на отложенной выборке остались на прежнем уровне (+0.1 и +0.2 пункта), а доля строгих ответов удвоилась.
- Два сида в комплекте: в репозитории лежат веса
s17иs18в точности F32 вместе с JSON-манифестами, где зафиксированы все детали обучения.
Что можно сделать
- Изучить влияние весов лосса на SFT: сравнить манифесты и поведение моделей на двух сидах (17 и 18), чтобы воспроизвести метод борьбы с «болтливостью» малых LLM.
- Исследовать работу CaseBits и n-gram памяти: протестировать поведение 207M-модели с нестандартной токенизацией регистра в исследовательском коде Kefir 2.
Пример
Готового кода запуска в карточке нет: веса несовместимы с библиотекой transformers и загружаются только через оригинальный исследовательский код Kefir 2. В репозитории доступны два файла весов (kefir2-sft-eodw4-s17-470.safetensors и s18), к каждому прилагается файл manifest-s{17,18}.json с параметрами обучения и результатами на отложенной выборке.
Подробнее
Бенчмарк (1500 парных кейсов): строгие ответы (верные, до 48 токенов, без копирования промпта) выросли с 8.2% до 16.4% (seed 17) и с 8.9% до 16.5% (seed 18).Обучение: 470 шагов по 32 диалога с чекпоинта претрейна 342500, learning rate 3e-5, на двух GPU T4.
Ограничения: только для исследований и воспроизводимости, safety-настройка отсутствует, формат весов F32 без поддержки Hugging Face Transformers.










Comments