gemma-4-e4b-it-prune_depth_10_awe_sonnet
восстановление сжатой модели через ИИ-агента без обучения
2 мин чтенияобновлено
Экспериментальная языковая модель на 7.31B параметров от автора mrysh, созданная в рамках бенчмарка сжатия LLM методом AWE (Agentic Weight Editing — редактирование весов силами ИИ-агента). За основу взята модель mrysh/gemma-4-e4b-it-prune_depth_10 (версия google/gemma-4-E4B-it после прунинга, то есть удаления 10% слоёв), у которой после обрезки сильно просел навык вызова внешних функций (function calling). Вместо привычного дообучения LLM-агент (Sonnet 5.5) напрямую проанализировал веса и активации через Python и точечно изменил всего 0.0804% параметров в одном слое. Это вернуло большую часть потерянной точности в работе с инструментами при сохранении повышенной скорости и меньшего размера сжатой модели.
Ключевые особенности
- Правка весов без градиентного обучения: агент сам исследовал тензоры и прогонял прямые проходы (forward pass), изменив 5 873 945 чисел в тензоре
mlp.down_proj.weight37-го слоя. - Восстановление вызова функций: общая точность в тесте BFCL выросла с 21.6% у обрезанной версии до 52.5%, а число ответов с битым форматом сократилось с 531 до 269 из 774.
- Сохранение скорости и объёма: размер на диске остался 14.65 ГБ (против 15.88 ГБ у оригинала), а скорость генерации в vLLM на L40 держится на уровне 75.8 токенов/с.
- Отсутствие деградации в других задачах: на медицинских вопросах MedQA (61.9%) и тесте Hiring bias (85.4%) качество осталось на уровне исходной модели.
Что можно сделать
- Протестировать модель в локальных агентах и пайплайнах с поддержкой function calling через vLLM или Transformers, чтобы оценить баланс между скоростью обрезанной архитектуры и корректностью JSON-вызовов.
- Использовать как референс и полигон для исследований в области прунинга и пост-обработки весов (AWE) без затрат на полноценный файнтюнинг.
Пример
Согласно карточке, модель загружается стандартным способом, аналогично базовой google/gemma-4-E4B-it (архитектура идентична, отличается только количество слоёв после прунинга на 10%). Агенту для создания этой правки потребовалось 27 проходов модели, 586 шагов в Python и $6.97 по счётчику API.
Подробнее
Бенчмарк BFCL (all): 52.5% против 21.6% у pruned-версии и 91.1% у оригинальнойgoogle/gemma-4-E4B-it.Железо и скорость: вес 14.65 ГБ, скорость 75.8 токенов/с для одного пользователя в vLLM на GPU L40.
Ограничения: проведён только один прогон на агента без повторов, поэтому стабильность метода между разными агентами не доказана; лицензия наследуется от базовой модели Google.










Комментарии