Javi0.4-4B
контрольная правка одной строки эмбеддингов
2 мин чтения
Javi0.4-4B от javierbits — это Javi0.3-4B с изменённой одной строкой эмбеддингов: токен 51187 (=open_page) умножен на 0.84. Никакого файнтюнинга, новых данных или градиентов: остальные веса байт-в-байт совпадают с Javi0.3-4B. Это 4.66B-модель для image-text-to-text, английский язык; она служит 4B-контролем в эксперименте Javi0.4 с пространством весов.
Ключевые особенности
- Правка только в языковой модели:
embed_tokens[51187] *= 0.84; строка связана между input и output embeddings. - База — Javi0.3-4B, остальные веса без изменений; это контроль для Javi0.4.
- Vision tower взят от Qwen3.5-4B и не менялся.
- Merged bf16 safetensors: два шарда, 8.8 GB; tokenizer, processor и chat template на месте. Есть GGUF-вариант.
- Лицензия Apache 2.0, унаследована от Qwen3.5-4B.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "javierbits/Javi0.4-4B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="auto", device_map="auto")
messages = [{"role": "user", "content": [{"type": "text", "text": "What's the latest stable Rust release?"}]}]
inputs = processor.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.2, top_p=0.8, top_k=20)
Подробнее
На 175 held-out сидах: core pass (среднее судей) 0.50 → 0.56; парная разница +0.06 [0.03, 0.10].Восстановление после сбоя инструмента: 0.58 → 0.75 (n=12); выдуманные ссылки: 0.01 → 0.00; циклы: 0.03 → 0.02.
Целевой пробой не удаётся отнести прирост только к строке
open_page; разрыв в маршруте webfetch/web_fetch не затронут.Конфликтные вопросы просели (0.26 против 0.40, n=7, направленно), «непознаваемые» выросли (0.55 против 0.32, n=10).










Комментарии