Novalyte-v2-27B
диалоговая модель на базе Qwen3.8
2 мин чтенияобновлено
Новая модель Novalyte-v2-27B представляет собой полноразмерный чекпоинт с объединёнными весами, основанный на архитектуре Qwen3.8-27B. Модель обучена с использованием SFT (обучения с учителем) для настройки специфической идентичности и стиля общения, сохраняя сильные возможности базовой архитектуры на китайском и английском языках. Веса поставляются в формате Safetensors в точности с исходной структурой, поэтому для запуска не требуются дополнительные LoRA-адаптеры. Такой вариант подойдёт исследователям и разработчикам, изучающим влияние тонкой настройки на поведение крупных языковых моделей.
Ключевые особенности
- Базовая модель: построена на базе
Qwen3.8-27Bс общим количеством параметров около 27.78 миллиардов в форматеBF16. - Метод обучения: дообучение проведено методом QLoRA с использованием фреймворка
LLaMA-Factoryна специализированном датасете идентичности. - Открытая лицензия: модель распространяется под пермиссивной лицензией
Apache-2.0. - Прозрачные бенчмарки: авторы честно отмечают, что вторая версия уступает первой по метрикам и публикуют сравнительные результаты.
Что можно сделать
- Локальный запуск: развернуть модель локально на подходящем оборудовании для тестирования диалоговых способностей и генерации текста.
- Интеграция в пайплайны: использовать веса в качестве готовой отправной точки для собственных экспериментов с дообучением языковых моделей.
- Анализ качества: изучить результаты бенчмарков C-Eval, MMLU и CMMLU для оценки деградации или улучшения метрик после кастомного SFT.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
model_id = "voblcn/Novalyte-v2-27B"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True, bnb_4bit_compute_dtype=torch.bfloat16)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True,
quantization_config=bnb, device_map="auto")
prompt = "<|im_start|>user\n你是谁?<|im_end|>\n<|im_start|>assistant\n"
ids = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=128, do_sample=False)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))Подробнее
• Формат весов: Safetensors (18 фрагментов, около 51.75 GiB данных).• Требования к железу: для полной точности BF16 требуется примерно 52 GiB VRAM/RAM, для работы на видеокартах с 24–32 GiB предусмотрена 4-бит квантизация.
• Метрики: на подмножестве из 433 тестов базовая модель показывает 74.8%, v1 — 80.4%, а текущая v2 — 77.6%.
• Важная ремарка: авторы рекомендуют для практического использования предыдущую версию v1 из-за лучших показателей стабильности.










Комментарии