LFM3-VL-2B 3D Coder

Экспериментальный SFT-файнтюн LiquidAI/LFM3-VL-2B от AlekseyCalvin: по текстовой инструкции генерирует исполняемые Three.js-сцены и ассеты, экспортируемые в GLB. Это квази-воспроизведение исследования ccore/Qwen3.5-4B-3D-Coder; обучение ещё идёт, итоговые метрики в карточке не опубликованы.

⚙ Ключевые особенности

• ⚙ База — LiquidAI/LFM3-VL-2B; QLoRA: bitsandbytes NF4 + double quant, LoRA r=64, α=128, 65 874 944 обучаемых параметров (3.32%).
• 🧊 Vision encoder заморожен; LoRA на языковые проекции q/k/v/o/gate/in_proj/out_proj/w1/w2/w3.
• 🧩 Данные: ccore/ThreeJS-3D-Scenes и 1 500 примеров из ccore/ThreeJS-3D-GLB-Assets; примеры длиннее 24 576 токенов исключены.
• 🛸 Каждые 200 шагов blocking HTML-emission gate: 0/2 валидных HTML останавливает запуск; предыдущий DFT-run коллапсировал на шаге 200.
• ⚡ Обучение на одной NVIDIA L4 (24 GB) в Google Colab, effective batch 4, peak LR 2e-5, 1 эпоха.

💡 Пример

from transformers import AutoModelForImageTextToText, AutoProcessor
import torch

model_id = 'AlekseyCalvin/LFM3-VL-2B-3D-Coder-SFT'
model = AutoModelForImageTextToText.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map='auto', trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

Подробнее

🔬 Подробнее
Результаты: TBD — запуск ещё идёт; кривые в metrics.jsonl, сэмплы в evals/step-*, вердикты gate в gen_gate_*.json.
Железо: одна NVIDIA L4 (24 GB) в Google Colab, micro-batch 1, grad-accum 4.
Ограничение: примеры длиннее 24 576 токенов исключены; merged, final_adapter и GGUF появятся по завершении.
Метод: TRL SFTTrainer, loss_type='nll', assistant-only loss, ChatML с <think>.