Qwen2.5-0.5B-FullDenseConcentrated-v1
компактный контроллер для долгих рассуждений
2 min readupdated
Небольшая языковая модель на 0.49 млрд параметров от исследователя BRR1154 (Amrita Vishwa Vidyapeetham), созданная как внешний контроллер и критик для сложных инженерных и математических задач. Вместо того чтобы отвечать за один проход и выдавать поверхностные выводы, она управляет циклом рассуждений: уточняет недостающие ограничения на старте, отслеживает энтропию Шеннона (меру неопределённости при генерации токенов) в процессе и возвращает задачу на доработку, если не все условия учтены. Модель построена на базе Qwen2.5-0.5B-Instruct, но в отличие от стандартного подхода LoRA (когда меняется лишь малая доля весов), здесь через метод Dense SVD Spectral Weight Concentration обновлены 100% параметров. Подойдёт разработчикам агентных систем и исследователям, которые строят многошаговые пайплайны рассуждений.
Ключевые особенности
- Трёхступенчатый контроль цикла: работает в узлах START (разворачивает цель в граф физических и структурных ограничений), MIDDLE (ловит скачки энтропии и вставляет уточняющие вопросы) и END (проверяет полноту решения по байесовской оценке).
- 100% обновлённых весов: модифицированы все 494 032 768 параметров во всех 290 тензорах модели, включая MLP-слои, эмбеддинги, внимание и RMSNorm.
- Сверхлёгкий размер: менее 0.5B параметров позволяют использовать модель как быстрый надзорный модуль рядом с более крупными генераторами или автономно.
Что можно сделать
- Встроить в агентный пайплайн: поставить модель в начало генерации, чтобы она автоматически выявляла пропущенные технические, тепловые и электрические требования из короткого запроса пользователя.
- Контролировать качество генерации: использовать как критик в рекурсивных циклах решения сложных инженерных задач, перехватывая моменты неуверенности модели до появления каскадных ошибок.
- Запускать локально на слабом железе: использовать в автономном режиме для базового анализа ограничений и математических преобразований без обращения к крупным LLM.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "BRR1154/Qwen2.5-0.5B-FullDenseConcentrated-v1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float32, device_map="auto")
prompt = "<|im_start|>system\nYou are an autonomous Start Node. Expand the user goal into missing physical, thermal, and electrical constraints.<|im_end|>\n<|im_start|>user\nBuild up a laptop for me.<|im_end|>\n<|im_start|>assistant\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=256, temperature=0.3)[0], skip_special_tokens=True))Подробнее
Архитектура: Qwen2.5-0.5B (24 слоя, 14 голов внимания, размерность 896), лицензия Apache-2.0, язык — английский.В рекурсивном замкнутом цикле средний балл на выборке задач (GPQA-Diamond, MATH-500, Systems Engineering) вырос с 4.29% (базовый один проход) до 46.03%, а агрегированная энтропия снизилась на 28.51%.
В автономном режиме без крупных моделей общий результат составил 30.0% (включая 50.0% на MATH-500 и 40.0% на инженерной задаче против 4.3% у немодифицированной базы).










Comments