Qwen3.5-0.8B-NKC
модификация весов для логики и физики
2 мин чтенияобновлено
Модель Qwen3.5-0.8B-NKC создана на базе компактной языковой модели Qwen/Qwen3.5-0.8B (873.4 млн параметров) с помощью метода Neural Knowledge Compiler (НКС) — компиляции навыков из других сетей прямо в существующие веса без добавления новых параметров. За счет изменения всего 0.38% весов разработчики смогли значительно прокачать математический режим размышлений (thinking mode), а также добавить модели базовое понимание глубины сцены и физики движения. Модель загружается со стандартной библиотекой transformers и не требует кастомного кода на инференсе. Она пригодится разработчикам и исследователям, которым нужна компактная модель с усиленными логическими возможностями.
Ключевые особенности
- Нулевое увеличение параметров: все улучшения записаны в существующие тензоры базовой модели.
- Рост точности в математике: на бенчмарках MATH-500 и GSM8K в режиме размышлений показатели выросли с 6% до 53% и с 16% до 76%.
- Добавленный анализ глубины: интеграция данных из Depth Anything V2 улучшила оценку удаленности объектов.
- Физическое предсказание: модель обучена оценивать, сдвинет ли толчок объект (на основе JEPA-WM).
Что можно сделать
- Решать математические и логические задачи в режиме рассуждений (
enable_thinking=True) с высокой точностью. - Тестировать пространственное восприятие и оценку глубины на изображениях с помощью встроенных визуальных слоев.
- Использовать стандартный пайплайн
transformersдля интеграции модели в локальные чат-боты и пайплайны обработки текста и картинок.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model = AutoModelForImageTextToText.from_pretrained("MichielH/Qwen3.5-0.8B-NKC", dtype="bfloat16", device_map="auto")
processor = AutoProcessor.from_pretrained("MichielH/Qwen3.5-0.8B-NKC")
messages = [{"role": "user", "content": [{"type": "text", "text": "What is 17 * 23? Please reason step by step, and put your final answer within \\boxed{}."}]}]
inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", enable_thinking=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=4096, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)
print(processor.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
• Базовая модель: Qwen/Qwen3.5-0.8B (873.4M параметров)• Изменено весов: около 3.28 млн (0.38% от общего числа)
• Бенчмарки: MATH-500 с thinking вырос с 6% до 53%, GSM8K — с 16% до 76%
• Ограничения: в стандартном default режиме без thinking математика может незначительно проседать










Комментарии