ocrrag plain answerer v9
RAG-ответчик с цитатами на LFM3-1.7B
2 мин чтенияобновлено
Это GGUF-версия LoRA-файнтюна для плагина plain в ocrrag. Модель читает окно найденных чанков и либо отвечает с цитатами [chunk_id], либо прозой отказывается, если факта в окне нет. База — LiquidAI/LFM3-1.7B, адаптер обучен 264 шага (1 эпоха).
Ключевые особенности
- Три GGUF-файла: Q4_K_M на 1.02 GiB для CPU, Q8_0 на 1.72 GiB для Metal/GPU и F16 на 3.23 GiB для переквантования без merge.
- Обучение на
ocrrag-deep-env→plain-v9-trl/: 2118 train / 346 val / 227 test. - Отвечает с
[chunk_id]или отказывается прозой; версии до v7 вместо этого выдавали JSON-вердикт. - Запускать нужно с
--jinja: шаблон LFM3 по умолчанию ставитenable_thinking=true, и с включённым thinking модель тратит 512 токенов и возвращает пустой ответ. - На
plain-v9 valv9 ответила на 275/351 вопросов против 17/351 у v7; citation rate — 0.781 против 0.225.
Пример
Сценарий из карточки: на вход приходит окно retrieved-чанков и вопрос. Если факт есть в окне, модель отвечает с ссылкой вида [chunk_id]; если факта нет — отказывается прозой. Промпт — 2437 символов, sha256 36a0d43a601f8318, enable_thinking=False.
Подробнее
Наplain-v9 val (351 вопрос): v9 ответила на 275/351, citation rate 0.781, mean reward 1.313; у v7 — 17/351 и 0.225.Избыточных отказов у v9 7/280 против 264/280 у v7; на пустых контролях 2 ложных ответа против 1.
Файлы: Q4_K_M 1.02 GiB для CPU, Q8_0 1.72 GiB для Metal/GPU, F16 3.23 GiB для переквантования.
Обучение: 264 шага (1 эпоха), loss 0.088, eval_loss 0.1258. Ограничение: на срезе таблицы модель может ответить из соседней ячейки и корректно сослаться.
Задержки v7 и v9 замерены на разных машинах, поэтому p50 2.4 с у v9 не сравнивать напрямую.










Комментарии