К содержимому
Другое

ocrrag plain answerer v9

RAG-ответчик с цитатами на LFM3-1.7B

2 мин чтенияобновлено

Это GGUF-версия LoRA-файнтюна для плагина plain в ocrrag. Модель читает окно найденных чанков и либо отвечает с цитатами [chunk_id], либо прозой отказывается, если факта в окне нет. База — LiquidAI/LFM3-1.7B, адаптер обучен 264 шага (1 эпоха).

Ключевые особенности

  • Три GGUF-файла: Q4_K_M на 1.02 GiB для CPU, Q8_0 на 1.72 GiB для Metal/GPU и F16 на 3.23 GiB для переквантования без merge.
  • Обучение на ocrrag-deep-env → plain-v9-trl/: 2118 train / 346 val / 227 test.
  • Отвечает с [chunk_id] или отказывается прозой; версии до v7 вместо этого выдавали JSON-вердикт.
  • Запускать нужно с --jinja: шаблон LFM3 по умолчанию ставит enable_thinking=true, и с включённым thinking модель тратит 512 токенов и возвращает пустой ответ.
  • На plain-v9 val v9 ответила на 275/351 вопросов против 17/351 у v7; citation rate — 0.781 против 0.225.

Пример

Сценарий из карточки: на вход приходит окно retrieved-чанков и вопрос. Если факт есть в окне, модель отвечает с ссылкой вида [chunk_id]; если факта нет — отказывается прозой. Промпт — 2437 символов, sha256 36a0d43a601f8318, enable_thinking=False.

ПодробнееНа plain-v9 val (351 вопрос): v9 ответила на 275/351, citation rate 0.781, mean reward 1.313; у v7 — 17/351 и 0.225.
Избыточных отказов у v9 7/280 против 264/280 у v7; на пустых контролях 2 ложных ответа против 1.
Файлы: Q4_K_M 1.02 GiB для CPU, Q8_0 1.72 GiB для Metal/GPU, F16 3.23 GiB для переквантования.
Обучение: 264 шага (1 эпоха), loss 0.088, eval_loss 0.1258. Ограничение: на срезе таблицы модель может ответить из соседней ячейки и корректно сослаться.
Задержки v7 и v9 замерены на разных машинах, поэтому p50 2.4 с у v9 не сравнивать напрямую.
Обсудить Telegram 0 113

Запустится ли?

Запустится в GGUF F16

Влезает самая точная из готовых сжатых версий.

  • GGUF F16веса 3.2 GB · готовые файлы4.1 GB
  • GGUF Q8_0рекомендуемвеса 1.7 GB · готовые файлы2.4 GB
  • GGUF Q4_K_Mвеса 1.0 GB · готовые файлы1.6 GB

Совет: берите 8-bit.GGUF Q8_0 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: GGUF Q8_0 — от RTX 2060 · GGUF F16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # p4ulbr4dl3y/ocrrag-lfm3-plain-gguf-v9
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download p4ulbr4dl3y/ocrrag-lfm3-plain-gguf-v9 --local-dir ~/models/ocrrag-lfm3-plain-gguf-v9
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к ocrrag-lfm3-plain-gguf-v9
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии ocrrag-lfm3-plain-gguf-v9 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

p4ulbr4dl3y/ocrrag-lfm3-plain-gguf-v9
Автор
p4ulbr4dl3y
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

1130

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии