LLaDA2.2-mini-Thinking
модель с рассуждениями для блок-диффузионной MoE
2 мин чтения
Эта модель представляет собой доработанную версию LLaDA2.2-mini (16B блок-диффузионной MoE ( Mixture of Experts, архитектура из экспертных блоков ) с 1.4B активных параметров), обученную рассуждать в тегах … перед ответом или вызовом инструментов. Базовая модель отвечает сразу и не рассуждает в тексте. Новинка обучена на сессиях агентов и примерах рассуждений от DeepSeek, объединяя возможности генерации с логическим анализом задач.
Ключевые особенности
- Добавлено рассуждение перед ответом: модель явно прописывает ход мыслей в тегах
. - Сохранена нативная поддержка вызова инструментов (tool calls) от базовой архитектуры.
- Обучена на 2,003 сессиях агентных задач и 3,000 примерах рассуждений (всего 25.6 млн токенов).
- Веса объединены в формате bf16, обучение заняло 5.3 часа на одном GPU A100 80GB.
Что можно сделать
- Запустить локальный сервер через SGLang с парсером рассуждений в стиле deepseek-r1.
- Интегрировать модель в задачи помощников и агентов, которым требуется пошаговый разбор задач перед действием.
- Использовать стандартный код на Transformers для генерации ответов с предварительным блоком размышлений.
- Тестировать модель на математических и кодинговых задачах, требующих детализированного логического вывода.
Пример
Запуск генерации ответа с логическим выводом на Python с использованием transformers:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
name = "kaivoss/LLaDA2.2-mini-Thinking"
tok = AutoTokenizer.from_pretrained(name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(name, trust_remote_code=True, dtype=torch.bfloat16, device_map="cuda")
messages = [{"role": "user", "content": "Solve 5x^2 - 6x + 4 = 0."}]
prompt = tok.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
ids = tok(prompt, add_special_tokens=False, return_tensors="pt").input_ids.to("cuda")
out = model.generate(ids, gen_length=1536, block_length=32, steps=32, threshold=0.5, eos_early_stop=True)
text = "\n" + tok.decode(out[0], skip_special_tokens=True)
thinking, answer = text.split("", 1)
print(answer.strip())Подробнее
База: inclusionAI/LLaDA2.2-miniМетод: LoRA r32 на внимании, плотных MLP и разделяемых экспертах с последующим слиянием весов
Требования к VRAM: около 33 ГБ под веса, достаточно одной видеокарты с 80 ГБ VRAM
Ограничения: оценена всего на 8 примерах, длинные размышления могут упираться в лимит длины токенов
Лицензия базовой модели: Apache-2.0










Комментарии