К содержимому
Компьютерное зрение

Javi0.4-4B

контрольная правка одной строки эмбеддингов

2 мин чтения

Javi0.4-4B от javierbits — это Javi0.3-4B с изменённой одной строкой эмбеддингов: токен 51187 (=open_page) умножен на 0.84. Никакого файнтюнинга, новых данных или градиентов: остальные веса байт-в-байт совпадают с Javi0.3-4B. Это 4.66B-модель для image-text-to-text, английский язык; она служит 4B-контролем в эксперименте Javi0.4 с пространством весов.

Ключевые особенности

  • Правка только в языковой модели: embed_tokens[51187] *= 0.84; строка связана между input и output embeddings.
  • База — Javi0.3-4B, остальные веса без изменений; это контроль для Javi0.4.
  • Vision tower взят от Qwen3.5-4B и не менялся.
  • Merged bf16 safetensors: два шарда, 8.8 GB; tokenizer, processor и chat template на месте. Есть GGUF-вариант.
  • Лицензия Apache 2.0, унаследована от Qwen3.5-4B.

Пример

from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "javierbits/Javi0.4-4B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="auto", device_map="auto")
messages = [{"role": "user", "content": [{"type": "text", "text": "What's the latest stable Rust release?"}]}]
inputs = processor.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.2, top_p=0.8, top_k=20)
ПодробнееНа 175 held-out сидах: core pass (среднее судей) 0.50 → 0.56; парная разница +0.06 [0.03, 0.10].
Восстановление после сбоя инструмента: 0.58 → 0.75 (n=12); выдуманные ссылки: 0.01 → 0.00; циклы: 0.03 → 0.02.
Целевой пробой не удаётся отнести прирост только к строке open_page; разрыв в маршруте webfetch/web_fetch не затронут.
Конфликтные вопросы просели (0.26 против 0.40, n=7, направленно), «непознаваемые» выросли (0.55 против 0.32, n=10).
Обсудить Telegram 0 22

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 8.7 GB · готовые файлы10 GB
  • FP8 / INT8рекомендуемвеса 4.3 GB5.3 GB
  • 4-bitвеса 2.4 GB3.2 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2080 Ti

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # javierbits/Javi0.4-4B
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download javierbits/Javi0.4-4B --local-dir ~/models/Javi0.4-4B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Javi0.4-4B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

javierbits/Javi0.3-4B
  1. Qwen3.5-4B-Baseоснова семьи
  2. Qwen3.5-4B
  3. Javi0.3-4B
  4. Javi0.4-4B

Новые посты про версии Qwen3.5-4B-Base — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 12Все на Hugging Face
Слияния 1Все на Hugging Face

О модели

javierbits/Javi0.4-4B
Автор
javierbits
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

220

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

VEHME-FERMAT

VEHME-FERMAT
Компьютерное зрение

rakedoc-nano-2

rakedoc-nano-2