Ulam-2-Small
модель для математических доказательств и STEM-исследований
1 мин чтения
Новая модель Ulam-2-Small от команды ulam.ai на базе архитектуры Qwen2 (3.1 миллиарда параметров) создана методом весового программирования без дополнительных шагов обучения или градиентных обновлений (backpropagation). Модель ориентирована на решение исследовательских математических задач, проверку гипотез и многоступенчатые количественные STEM-выводки. Модель выдает внутренние рассуждения в тегах ... перед финальным ответом.
Ключевые особенности
- 3.09 миллиарда параметров на базе архитектуры Qwen2.
- Контекстная длина до 131 072 токенов.
- Построена методом структурированной замены компонентов и спектральной модификации без обучения.
- Предназначена для exploratory mathematical problem solving и количественных STEM-выводов.
Что можно сделать
- Решать сложные математические задачи и строить наброски доказательств.
- Разворачивать модель локально с помощью библиотек Hugging Face Transformers.
- Интегрировать в локальные конвейеры через vLLM для обработки длинных контекстов.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "ulamai/Ulam-2-Small"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
)
messages = [
{
"role": "user",
"content": "Prove that for every positive integer n, gcd(n! + 1, (n + 1)! + 1) = 1.",
}
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
with torch.inference_mode():
output = model.generate(
**inputs,
do_sample=True,
temperature=0.6,
top_p=0.95,
max_new_tokens=16384,
)
completion = output[0, inputs["input_ids"].shape[-1]:]
print(tokenizer.decode(completion, skip_special_tokens=True))
Подробнее
Берёт за основу Ulam-1-Small и VibeThinker-3B.Тип весов: BF16 (два файла .safetensors).
Лицензия: MIT.










Комментарии