Joko-edited
точечная правка зацикливания thinking
2 мин чтения
Экспериментальный чекпоинт на базе Qwen/Qwen3.5-2B (2,21 млрд параметров) — двуязычный помощник для индонезийского и английского. Это не новая тренировка: в полных BF16-весах изменена одна tied-строка embedding/output для токена </think> (248069), всего 2000 значений, без градиентов и обучения.
Ключевые особенности
- Правка одной строки весов влияет и на чтение, и на генерацию токена
</think>. - База — Qwen3.5-2B; исходный SFT-экспорт Joko epoch 2 с merged LoRA rank 16 / alpha 32.
- Поддерживает индонезийский и английский, image-text-to-text, обучен в том числе на GUI/agent-данных.
- В калибровочном тесте identity-промпт завершился за 15 токенов вместо 2048; все 10 базовых thinking-ответов дошли до EOS.
- Задача со скриншотом и копированием иконки всё ещё зацикливалась до 512 токенов.
- Inference по умолчанию работает в non-thinking режиме.
Пример
Калибровочный identity-промпт: вместо ухода в цикл до 2048 токенов ответ закончился за 15 токенов. На 10 простых thinking-запросах модель дошла до EOS, но сценарий со скриншотом и копированием иконки не исправился — цикл до 512 токенов.
Подробнее
Бенчмарков нет: 15 токенов вместо 2048 и 10/10 EOS — результаты только на калибровочном наборе, не held-out тест.Полные BF16-веса; нужен Transformers с
Qwen3_5ForConditionalGeneration и AutoProcessor, PEFT не требуется.Обобщение и побочные эффекты не проверены; улучшений в математике, коде и visual grounding не установлено.










Комментарии