LFM2.5-230M-openjev

Это merged BF16-веса LoRA-файнтюна от iromu на базе LiquidAI/LFM2.5-230M-Base. Модель обучена отвечать на типизированный decision-промпт ровно одной буквой-меткой и рассчитана на classification, single-label answer selection и edge-развертывание.

🧐 Ключевые особенности

• 🤖 230M параметров — небольшой footprint для on-device и edge.
• 🎯 Ответ — один токен-буква; шаблон чата сразу завершает ход на EOS.
• 🫡 LoRA: rank 32, alpha 32, dropout 0.05; адаптер затронул attention projections и MLP (w1/w2/w3).
• 🎁 Есть GGUF-кванты и NVFP4-вариант для vLLM.
• ⛔ Это не замена большим LLM: задача узкая — выбрать метку из вариантов.

🤩 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "iromu/LFM2.5-230M-openjev", torch_dtype="bfloat16", device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("iromu/LFM2.5-230M-openjev")

Подробнее

На validation (3 495 строк, greedy): буква выдана в 100% случаев, правильная — 77,3% против 0% у базовой модели.
JevBench coherence: 38,5/100 (REP 60,6; BAT 25,8; MEA 15,4; LOG 68,3; CHO 22,2); у Qwen3-0.6B-openjev — 44,5.
Обучение: SFT + LoRA через NeMo-RL, 1 эпоха, 1191 шаг, 76 224 строки, max seq 4096, bf16.
Ограничение: вероятностный вывод плохо калиброван, хотя argmax-точность высокая.