lfm3-xfer-final
сжатая версия LFM3-1.7B до 0.98B параметров
2 min readupdated
Компактная языковая модель-ученик на ~976M параметров, созданная путём переноса и оптимизации весов из модели-учителя LiquidAI/LFM3-1.7B. Вместо классического обучения с нуля автор применил проекцию активаций через PCA (метод главных компонент), слияние чекпоинтов (model soup) и оптимизацию нулевого порядка (CMA-ES). На выходе получается лёгкая генеративная LLM с тригибридной архитектурой (свёртки, скользящее и полное внимание), которая максимально близко повторяет поведение старшей модели при вдвое меньшем размере. Пригодится исследователям методов сжатия моделей и разработчикам, которым нужна компактная архитектура LFM3 для локального запуска.
Ключевые особенности
- Тригибридная архитектура LFM3: сохраняет 24-слойную схему учителя (conv / sliding-attention / full-attention) со скрытой размерностью 1344 против 2048 у оригинала.
- Разделённые эмбеддинги: параметр
tie_word_embeddings=false— входные эмбеддинги и выходная голова декодирования хранятся как отдельные матрицы (+172M параметров). - Эволюционный микс чекпоинтов: финальные веса
soup4u_cmaesполучены путём группового слияния промежуточных моделей и подбора коэффициентов через CMA-ES. - Открытый лог экспериментов: в репозитории лежат промежуточные чекпоинты, код пайплайна (
xfer-forge/) и отчёты по Fisher merging, CKA-выравниванию и аудиту RoPE.
Что можно сделать
- Запустить компактную языковую модель локально на GPU с поддержкой
bfloat16для экспериментов с генерацией текста и кода. - Изучить и воспроизвести пайплайн переноса весов (weight-space transfer) из репозитория на собственных чекпоинтах.
- Протестировать качество дистилляции на собственных задачах и сравнить поведение с оригинальной LFM3-1.7B.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
m = AutoModelForCausalLM.from_pretrained(
"Akahsizrr/lfm3-804m-xfer", trust_remote_code=True,
torch_dtype="bfloat16").cuda().eval()
tok = AutoTokenizer.from_pretrained("Akahsizrr/lfm3-804m-xfer")Подробнее
Метрики (Cross-Entropy, ниже — лучше): rep_fw — 3.7972 (у учителя 3.018), rep_dom — 2.3300, rep_code — 2.1502.Policy-KL (расхождение с учителем на rep_fw/64): 1.3696, совпадение top-1 токенов — 48.91%.
Для запуска обязательно требуется
trust_remote_code=True (используются кастомные частоты RoPE inv_freq_override).В репозитории также сохранены альтернативные чекпоинты:
soup4_cmaes, soup2_cmaes и franken_soup_cmaes.









Comments