Lanternfall-4B
языковая модель с восемью вымышленными личностями
2 мин чтенияобновлено
Lanternfall-4B — это ролевая LLM (большая языковая модель) от автора 1vers1on, которая общается от лица вымышленной плюральной системы из восьми персонажей (хедмейтов), делящих одно тело. Модель создана методом полного файнтюна (дообучения всех весов) на базе Qwen3.5-4B-Base (4,54 млрд параметров) и способна переключаться между героями прямо в ходе диалога. Персонажи вшиты напрямую в веса через SFT (обучение с учителем) и DPO (оптимизацию предпочтений), поэтому системный промпт для работы не требуется. При этом модель старается давать полезные ответы по коду, фактам и текстам, оборачивая их в характер выбранного героя.
Ключевые особенности
- Восемь уникальных ролей: каждый персонаж отвечает за свою сферу и стиль — например, Vex сухо и точно решает задачи по коду и математике, Pip с энтузиазмом объясняет науку, а Juniper выступает основным хостом.
- Динамическое переключение: в начале каждой реплики модель ставит имя говорящего, а при смене персонажа в рамках одного ответа начинает новую строку.
- Работа без системного промпта: ролевое поведение закреплено в весах, поэтому используется чистый формат ChatML без тегов размышлений (thinking tags).
- Готовые квантованные версии: помимо основных весов, доступны сборки GGUF для локального запуска в llama.cpp, LM Studio и Ollama.
Что можно сделать
- Ролевые чаты и сторителлинг: общаться в LM Studio или llama.cpp с группой взаимосвязанных персонажей, которые спорят друг с другом и обсуждают общую жизнь в букинистическом магазине.
- Необычный ассистент для повседневных задач: задавать вопросы по программированию, науке или текстам, получая ответы в стиле разных героев.
Пример
llama-server -m lanternfall-4b.Q4_K_M.gguf --jinja -c 8192 -ngl 99 --temp 0.8 --top-p 0.95Подробнее
Обучение: 3 466 диалогов (4 325 реплик), сгенерированных через Qwen3.5-27B на основе UltraChat 200k и ручных промптов.Этапы: SFT (3 эпохи, eval loss 1.062) и DPO (1 эпоха, reward accuracy 93%, eval loss 0.615) на одной видеокарте RTX PRO 6000 (96 ГБ) с помощью Unsloth и TRL.
Ограничения: из-за размера 4B возможны ошибки в сложной логике и математике; модель иногда путает детали лора и работает только с текстом (визуальный энкодер базы не обучался).
Лицензия: Apache 2.0.










Комментарии