Gemma-4-26B-A4B-agentic
файнтюн Gemma 4 без зацикливаний в долгих задачах
2 min readupdated
Мультимодальная языковая модель на базе google/gemma-4-26B-A4B-it (25.81B параметров, MoE-архитектура), дообученная для стабильной работы в длинных агентских сценариях. Оригинальная Gemma 4 на затяжных задачах часто застревает в петле рассуждений или повторяет один и тот же вызов инструмента до исчерпания контекста. Автор ManniX-ITA провёл BF16 recovery SFT (дообучение в 16-битном формате без LoRA) на собственных очищенных ответах модели, сохранив исходную архитектуру, токенизатор и визуальный модуль без изменений. Пригодится разработчикам кодинг-агентов и автономных пайплайнов.
Ключевые особенности
- В 6 раз реже попадает в петли рассуждений: медиана обрывов из-за повторов снизилась с 8.0 до 1.0 за прогон.
- В тесте на починку сломанной HTML-игры за 30 минут справилась в 12 из 20 запусков (60%) против 3 из 20 (15%) у базовой модели.
- Обучена методом on-policy: ответы для датасета генерировала сама Gemma-4-26B-A4B-it (плюс часть трасс от Gemma-4-31B-it), поэтому модель не теряет собственный стиль.
- Доступны готовые квантованные версии в формате GGUF (F16, Q8_0, Q6_K, Q4_K_M с imatrix) в отдельном репозитории автора.
Что можно сделать
- Подключить в кодинг-агенты вроде Cline или VS Code для автономного рефакторинга и отладки крупных файлов.
- Развернуть локально через vLLM или llama.cpp как мультимодальный бэкенд с режимом рассуждений (
enable_thinking) и вызовом инструментов. - Использовать открытый SFT-датасет и рецепты из репозитория автора для воспроизведения или дальнейшего тюнинга моделей семейства Gemma 4.
Пример
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "ManniX-ITA/gemma-4-26B-A4B-agentic"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype="bfloat16", device_map="auto"
)
Подробнее
Рекомендуемый сэмплер: temperature 0.8, top_p 0.95, top_k 64, min_p 0, presence_penalty 0.025 (без repetition_penalty).Обучение: 2 108 шагов (16 296 диалогов) на одной RTX PRO 6000 Blackwell 96 GB (пик 74 GiB, 25.5 ч); заморожены эмбеддинги, нормы и vision tower.
Ограничения: при отклонении правки редактором модель может спамить повторным вызовом инструмента (в 2 из 20 тестов до 310–320 раз за один ответ) — в агентском цикле стоит ставить лимит на число вызовов за ход.










Comments