KaiLu 3 Pro
компактная чат-модель на 1B параметров с рассуждениями
2 мин чтенияобновлено
KaiLu 3 Pro — это небольшая англоязычная чат-модель от автора KvcHub, обученная полностью с нуля без использования чужих весов. Она основана на гибридной архитектуре Lfm2ForCausalLM (сочетание слоёв коротких свёрток и внимания) и насчитывает 1,03 млрд параметров, поэтому без проблем запускается даже на обычном ноутбуке. В отличие от многих сверхмалых моделей, она умеет пошагово рассуждать перед ответом внутри тегов ..., если задать соответствующий системный промпт. Подойдёт разработчикам и энтузиастам для локальных экспериментов, быстрых прототипов и офлайн-задач на слабом железе.
Ключевые особенности
- Обучена с нуля с поэтапным ростом: сначала автор обучил базовую модель на 329M параметров (6,6 млрд токенов), затем расширил её до 1B с сохранением накопленных знаний и дообучил на коде, математике и инструкциях с финальной настройкой через DPO (метод выравнивания ответов по предпочтениям).
- Гибридная архитектура на 36 слоёв: 24 слоя с управляемыми короткими свёртками (gated short-convolution) чередуются с 12 слоями внимания (GQA — групповое внимание для экономии памяти).
- Скромные требования и готовые форматы: 8-битная квантованная версия в формате GGUF весит всего 1,09 ГБ — быстро работает на CPU, Apple Silicon и видеокартах, а в репозитории уже лежат готовые настройки для Ollama, llama.cpp и LM Studio.
- Режим пошагового мышления: при указании режима
reasoning=mediumв системном промпте модель выстраивает цепочку рассуждений перед выдачей финального ответа.
Что можно сделать
- Развернуть локального офлайн-ассистента на ноутбуке через Ollama или LM Studio для базовой генерации англоязычного текста и простых задач программирования.
- Поднять локальный OpenAI-совместимый API-сервер через
llama-serverдля тестирования агентов, пайплайнов и логики работы с тегами рассуждений. - Использовать как лёгкую базовую модель с открытой лицензией Apache 2.0 для дальнейшего дообучения под собственные узкие задачи.
Пример
# Запуск в один клик через Ollama
ollama run hf.co/KvcHub/KaiLu-3-Pro
# Или запуск OpenAI-совместимого сервера в llama.cpp
llama-server -m KaiLu-3-Pro-Q8_0.gguf --jinja -c 1024
Подробнее
Контекстное окно: модель обучалась на окнах длиной 1024 токена, поэтому плохо помнит длинную историю переписки.Рекомендации: лучше всего работает при низкой температуре (0–0.3); на 0.7 начинает заметно фантазировать.
Ограничения: поддерживает только английский язык, склонна к галлюцинациям в фактах; бенчмарки MMLU, ARC-Challenge, HumanEval и GSM8K намеренно не приводятся, так как их тестовые наборы попали в обучающую выборку.
Веса: полная версия
model.safetensors (bfloat16) весит 2,07 ГБ; содержит 6 неактивных тензоров vision_projector.* от экспериментального модуля зрения (модель работает только с текстом).









Комментарии