Velandris Qwen3.8-27B Honesty
R-Build v4.2 — гибридная модель с повышенной честностью
2 мин чтенияобновлено
Модель создана разработчиком Velandris на базе unsloth/Qwen3.8-27B и объединяет в себе две ключевые части. Первая — встроенная в 16-битные веса LoRA (небольшая надстройка над базовой моделью) для повышения честности и снижения количества галлюцинаций. Вторая — дополнительные архитектурные модули R-Build v4.2 общим объемом около 650M параметров (панель из четырех критиков, быстрая память и экшн-головка CUA), которые поставляются в виде необученной заготовки. Базовая часть работает из коробки со стандартными библиотеками, выдавая более осторожные ответы на сложные вопросы. Новинка пригодится исследователям и разработчикам, которые изучают борьбу с галлюцинациями и экспериментируют с новыми архитектурными расширениями LLM.
Ключевые особенности
- Встроенная LoRA снижает уровень галлюцинаций с 56.8% до 34.2% по внутренней метрике честности.
- Интегрированы модули R-Build v4.2 (панель критиков, дельта-память и экшн-головка), упакованные в отдельный файл весов.
- Модуль rbuild загружается через специальный конфигурационный файл и отдельный движок, не нарушая работу базовых весов.
- Дополнительные R-Build модули при инициализации являются полностью необученными и требуют предварительного фиттинга.
- На простых вопросах модель стала осторожнее: точность на TriviaQA снизилась на 5 пунктов из-за роста числа отказов от ответов.
Что можно сделать
- Запустить модель стандартными средствами transformers, используя объединенные веса честной версии Qwen3.8-27B.
- Подключить R-Build движок для загрузки критиков, быстрой памяти и экшн-головки из файла model-rbuild.safetensors.
- Провести дообучение R-Build модулей с помощью методов RBuildBaseTrainer для задействования новой архитектуры.
- Протестировать поведение модели на задачах, где критически важно снизить уровень вымышленных фактов.
Пример
import json, torch
from huggingface_hub import snapshot_download
from safetensors.torch import load_file
from transformers import AutoTokenizer, AutoModelForImageTextToText
from rbuild import RBuildAdaptedModel, V41Config
path = snapshot_download("Velandris/Velandris-Qwen3.8-27B-Honesty-RBuild")
tok = AutoTokenizer.from_pretrained(path)
base = AutoModelForImageTextToText.from_pretrained(path, dtype=torch.bfloat16, device_map="cuda")
model = RBuildAdaptedModel(base, V41Config.load(f"{path}/rbuild_v41_config.json"))
rb = load_file(f"{path}/model-rbuild.safetensors")
for name in ("memory", "critics", "action_head"):
getattr(model, name).load_state_dict({k[len(f"rbuild.{name}."):]: v for k, v in rb.items() if k.startswith(f"rbuild.{name}.")})
model.memory.cuda(); model.critics.cuda(); model.action_head.cuda()
Подробнее
Бенчмарки честности: точность 39.2% (у базы 40.0%), отказы 40.0% (у базы 25.9%), галлюцинации 34.2% (у базы 56.8%).Параметры: около 28.46B базовых весов и 0.65B в R-Build модулях.
Лицензия: Velandris License 1.0 с учетом сторонних компонентов.
Ограничения: R-Build модули требуют обучения, а оценки выставлялись базовой моделью.










Комментарии