Gemma 4 31B-it Thinkless R2
ускорение ответов за счет арифметики весов
2 мин чтенияобновлено
Модификация базовой модели google/gemma-4-31B-it, созданная путем прямой работы с весами без дополнительного обучения. В этой версии выходной слой отделен от входных эмбеддингов (tie_word_embeddings: false), а к токену окончания размышлений добавлен специальный вектор, что позволяет уменьшить избыточные рассуждения модели. Такой подход снижает объем генерируемых токенов и ускоряет получение ответов, сохраняя точность на задачах вопросно-ответного типа. Модель подойдет исследователям и разработчикам, которым важна скорость работы больших языковых моделей (LLM) без долгого процесса генерации мыслей.
Ключевые особенности
- Создана на базе
google/gemma-4-31B-itбез этапа повторного обучения. - Изменены веса выходного слоя и добавлен вектор к токену завершения мысли (end-of-thinking token).
- Уменьшает количество токенов на правильный ответ до 0.638x при нулевой температуре.
Что можно сделать
- Использовать для эффективных вопросно-ответных систем (question answering), где требуется быстрый результат.
- Запускать через движок vLLM для тестирования оптимизированной генерации текста.
Пример
Пример промпта для модели: «Объясните основные принципы работы термодинамики простыми словами». Модель выдаст корректный ответ быстрее и с меньшим количеством промежуточных «мыслей», чем стандартная версия Gemma 4 с включенным полным циклом рассуждений.
Подробнее
Бенчмарки при температуре 0: токены на правильный ответ — 0.638x, точность — +0.05 пункта.Ограничения: падает точность в многошаговом вызове инструментов (BFCL v4) и в LiveCodeBench.
Аппаратные требования: запуск в FP8 на загрузке (например, на GPU NVIDIA B200 через движок vLLM).










Комментарии