OpenCode BPE-latent LoRA checkpoints
набою адаптеров для латентного рассуждения Qwen3-4B
1 мин чтенияобновлено
Набор адаптеров LoRA (небольшая надстройка над базовой моделью) для языковой модели Qwen3-4B, обученных на основе цепочки рассуждений (CoT), перекодированной в латентный словарь BPE без потерь. Цепочки мыслей сжимаются специальными латентными токенами, что позволяет экспериментировать с эффективностью генерации кода. Чекпоинты содержат веса эмбеддингов, токенайзеры и словари конфигураций для различных правил объединения токенов. Набор ориентирован на разработчиков и исследователей, изучающих скрытые рассуждения LLM в генерации кода.
Ключевые особенности
- База на Qwen3-4B: адаптеры созданы поверх SFT-модели с естественным CoT.
- Латентное кодирование: использование потерь BPE-словаря под разными правилами never-merge.
- Множество вариантов: папки содержат разные коэффициенты сжатия (1.2x, 1.5x и др.) и варианты фильтрации данных (comments / no-comment).
- Оценка LiveCodeBench: бенчмарки генерации кода выполнены для двухэтапного декодирования.
Что можно сделать
- Применить LoRA-адаптеры из репозитория поверх базовой Qwen3-4B для экспериментов с генерацией кода.
- Исследовать влияние различных правил never-merge (например, блокировку цифр или ключевых слов) на метрики LCB.
- Анализировать разницу между датасетами с комментариями кода (cot) и без них (cot_nc).
Пример
Модель проходиющих оценку LiveCodeBench (LCB) с двухэтапным декодированием (латентный кап до 6192, кап кода до 2000, температура 0.2) для проверки точности генерации кода.
Подробнее
Базовая модель: Qwen3-4BПараметрынастройки: 3 эпохи, max-len 8192, LoRA r16/a32, lr 2e-4, seed 42
Лучшие результаты LCB v5 достигают 55.5 (nc_ident) и 32.6 (nc_none, nc_tok) в v6new










Комментарии