Lynx-0.8B
компактная RAG-модель для ответов строго по тексту
2 мин чтенияобновлено
Небольшая языковая модель от catsaiagency для задач RAG (retrieval-augmented generation — генерация ответов с опорой на переданный документ). Вы подаёте ей фрагмент текста и вопрос на одном из 20 языков (включая русский), а на выходе получаете одно лаконичное предложение строго по фактам из источника — или фиксированную фразу отказа, если ответа в тексте нет. Модель построена на базе Qwen3.5-0.8B (0.8 млрд параметров) и заточена под работу на обычном CPU без видеокарты. Пригодится разработчикам локальных баз знаний, справочных ботов и систем поиска по документации, где критично не выдумывать факты.
Ключевые особенности
- Строгий RAG-формат: отвечает только одним предложением по тексту и отказывается галлюцинировать, если информации недостаточно.
- Поддержка 20 языков, включая русский, английский, немецкий, японский, китайский и другие.
- Работа на обычном CPU: в квантованном виде (GGUF Q4_K_M) весит 0.67 ГБ и требует около 1.5 ГБ оперативной памяти.
- Контекст до 8 192 токенов (текст, вопрос и ответ вместе).
- В этом репозитории лежат неквантованные веса (safetensors, bfloat16) для самостоятельной конвертации и дообучения; готовый GGUF и скрипты запуска находятся в отдельном репозитории Lynx-0.8B-GGUF.
Что можно сделать
- Подключить к корпоративной вики или базе инструкций: предварительно находить нужные абзацы классическим поиском и отдавать их модели для точного односложного ответа.
- Встроить в локального Telegram-бота или десктоп-помощника по документам на слабом сервере или ноутбуке без GPU.
- Квантовать веса из этого репозитория под своё железо или дообучить модель на специфической терминологии.
Пример
Сценарий работы: передаёте модели фрагмент правил библиотеки и задаёте прямой фактологический вопрос на том же языке, передавая код языка в параметр lang. Если ответ есть в тексте, Lynx вернёт одно предложение с фактом; если данных нет — вернёт стандартную фразу отказа REFUSAL[lang] и флаг r["refused"]. Важно использовать точный шаблон промпта из репозитория GGUF, иначе модель не будет соблюдать формат.
Подробнее
Качество (Q4_K_M на llama.cpp): 93.8 / 94.2 на собственном RAG-тесте (20 языков), на текстах без ответа — 98.0% (короткий текст) и 93.6% (длинный), на бенчмарке XQuAD — 89.9 / 90.7.Скорость на CPU (Core i7-11800H, 8 потоков): чтение 300–450 токенов/с, генерация 40–53 токена/с (~7 секунд на вопрос по тексту на 2 500 токенов).
Ограничения: не подходит для пересказов, списков, свободного диалога и сложной логики (плохо справляется с вопросами «да/нет» и исключениями); сервер работает в один поток (
-np 1).Лицензия: CatsAI Model License — бесплатно для тестирования, для коммерческого/рабочего использования нужна платная лицензия на каждую машину.










Комментарии