BatLM-360M
компактная RAG-модель по вселенной Бэтмена для браузера
2 мин чтенияобновлено
Небольшая языковая модель от разработчика chintanjv, которая отвечает на вопросы о вселенной Бэтмена строго по переданным ей фрагментам текста (RAG — генерация с дополнением извлечением). Она построена на базе SmolLM2-360M-Instruct (360 млн параметров), дообучена с помощью LoRA (метода адаптации на небольшом объёме данных) и сконвертирована в формат ONNX для запуска прямо в браузере через WebGPU или CPU/WASM. В отличие от обычной базы, модель обучена отвечать кратко в 1–2 предложения или списком и корректно отказываться от ответа, если нужных фактов нет в контексте. Подойдёт веб-разработчикам как готовый пример компактного клиентского RAG-пайплайна.
Ключевые особенности
- Работа в браузере: вес квантованной версии
model_q4f16.onnxдля WebGPU составляет всего 347 МБ, также есть сборкаmodel_q4.onnxдля CPU/WASM. - Строгая опора на контекст: модель принимает три найденных фрагмента текста (CASE FILES) и не выдумывает факты, если ответа в них нет.
- Высокая точность на тестах: на проверочном наборе из 161 вопроса модель показала 95.7% правильных ответов, в том числе 100% отказов на вопросы не по теме.
- Смешанное квантование: матрицы внимания, выходные слои MLP и LM head сжаты до 8 бит, а остальные матрицы MLP — до 4 бит.
Что можно сделать
- Встроить локального Q&A-помощника по лору Бэтмена прямо на веб-страницу без использования серверного API через
transformers.jsилиonnxruntime-genai. - Использовать архитектуру пайплайна и формат промпта как референс для создания собственных сверхлёгких браузерных RAG-ботов на базе SmolLM2.
Пример
<|im_start|>system
You are BatLM, an expert on the Batman universe. Answer the question directly in one or two sentences, or a short numbered list, using only the CASE FILES. If the files do not contain the answer, say so.<|im_end|>
<|im_start|>user
CASE FILES:
[1] (Title: Section) passage…
[2] (Title: Section) passage…
[3] (Title: Section) passage…
QUESTION: Who is the Batman?<|im_end|>
<|im_start|>assistantПодробнее
Бенчмарк (161 вопрос, WebGPU): 95.7% общих верных ответов, 94.7% на фактах вне обучающей выборки и 100% верных отказов на нерелевантные вопросы.Обучение: LoRA (r=16, все линейные слои, 2 эпохи) на ~2000 вопросах по 286 проверенным фактам и 333 статьям Википедии.
Ограничения: 360M параметров — не поддерживает многоходовой диалог, отвечает только на одну часть сложных составных вопросов и может ошибиться при необычной формулировке.
Лицензия: веса распространяются под CC BY-SA 4.0 (базовая модель SmolLM2 — Apache-2.0).










Комментарии