gemma4_equiangular
адаптеры для поиска равноугольных прямых
2 мин чтенияобновлено
Набор специализированных PEFT-адаптеров (надстроек для дообучения без изменения всех весов) на базе google/gemma-4-26B-A4B (не-IT претрейн) от автора seanmamasde. Модель не предназначена для обычного общения: это политика генерации структурированных JSON-действий для построения и «ремонта» конфигураций равноугольных прямых (equiangular lines) с фиксированным углом. Релиз включает базовый SFT-адаптер (обучение с учителем) и серию чекпоинтов RL (обучение с подкреплением) для работы в связке с солвером llmcosolver.
Ключевые особенности
- Двухступенчатая цепочка весов: сначала на сырую базу в BF16 накладывается и вмердживается SFT-адаптер в FP32, и только поверх него подключается выбранный RL-чекпоинт.
- Набор этапов обучения: в репозитории доступны базовый
sft/(4558 обновлений), чекпоинтыrl/checkpoint-580,600,625, а также свежийcheckpoint-632с состоянием оптимизатора Adam. - Строгий протокол поиска: работает с контекстом до 8192 токенов, генерируя короткие шаги по 32 токена (temperature=1, top_p=1) для обхода дерева состояний.
- Воспроизводимость: приложены SHA256-хеши файлов, точные ревизии кода и данных, а также ссылки на портативный оценщик для CPU и GPU.
Что можно сделать
- Продолжить обучение с подкреплением с чекпоинта
checkpoint-632или протестировать его на бенчмарке из 72 OOD-задач (размерности d18–20). - Использовать связку SFT + RL внутри фреймворков
extremalиllmcosolverдля локального улучшения конфигураций равноугольных прямых в размерностях d4–20. - Воспроизвести эталонные прогоны на фиксированном банке геометрий и сравнить поведение политик 580, 600 и 625.
Пример
Модель запускается через последовательное слияние весов (Raw base -> merge SFT -> load RL adapter): сырая база google/gemma-4-26B-A4B загружается в BF16, затем SFT-адаптер в FP32 объединяется через merge_and_unload(safe_merge=True) на CPU, после чего поверх подключается нужный RL-адаптер в FP32 для генерации JSON-действий внутри солвера.
Подробнее
Результаты OOD-оценки (d18–20): чекпоинт 625 выполнил 8/52 локальных улучшений при 0 прорывах выше опубликованных нижних границ (58/73/91); против чекпоинта 600 — 1 победа, 50 ничьих и 1 поражение.Данные: SFT обучен на 145 856 примерах (размерности d2–17), OOD-тесты на d18–20 в оптимизатор не попадали.
Стек: Python 3.12, Torch 2.11.0+cu129, Transformers 5.14.1, PEFT 0.20.0, vLLM 0.26.0+cu129, pynauty 2.8.8.1, Gymnasium 1.2.3.










Комментарии