Agnes 2.5 Pro Theta
мультимодальная MoE-модель на 188B параметров
2 min readupdated
Agnes 2.5 Pro Theta — это открытая мультимодальная языковая модель от команды Agnes AI, построенная по архитектуре MoE (Mixture-of-Experts — сеть из множества специализированных «экспертов», где на каждый токен активируется лишь часть). На вход она принимает текст, изображения и кадры видео, а на выходе генерирует текстовые ответы: решает научные задачи, пишет код, анализирует визуальный контент и ведёт диалоги с настраиваемой глубиной рассуждений. При общем объёме около 187.8 млрд параметров модель поддерживает окно контекста до 262 144 токенов и в таблице от разработчиков опережает конкурентов вроде Nemotron 3.5 Super VL 120B и Qwen3.8-27B по ряду тестов на программирование и логику. Решение подойдёт исследователям и компаниям с мощными GPU-кластерами, которым нужна крупная локальная модель под лицензией Apache 2.0 для работы на английском и китайском языках.
Ключевые особенности
- Архитектура MoE: 52 слоя текстового декодера, в каждом блоке по 512 маршрутизируемых экспертов (активируются top-10) плюс общая ветвь (shared expert).
- Мультимодальный ввод: в комплект входят процессор и токенизатор для обработки текста, изображений и видеокадров через
transformers. - Управление рассуждениями: шаблон чата поддерживает параметры
reasoning_effortиenable_thinkingдля регулировки глубины размышлений. - Длинный контекст: максимальная длина последовательности в конфигурации составляет 262 144 токена (при наличии достаточного объёма видеопамяти).
Что можно сделать
- Автоматизировать написание и отладку кода: использовать модель в локальных агентах разработки для решения задач уровня SWE-bench Pro и LiveCodeBench.
- Решать сложные научные и аналитические задачи: применять режим рассуждений для разбора вопросов из областей физики, химии и биологии (GPQA Diamond).
- Анализировать визуальные материалы и длинные документы: подавать на вход скриншоты, схемы или фрагменты видео вместе с текстовыми инструкциями для детального разбора.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
tokenizer = AutoTokenizer.from_pretrained("./agnes-2.5-pro-theta", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
"./agnes-2.5-pro-theta", trust_remote_code=True, dtype=torch.bfloat16, device_map="auto"
).eval()
inputs = tokenizer.apply_chat_template([{"role": "user", "content": "Explain gradient descent"}], return_tensors="pt", reasoning_effort="low").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=256)[0], skip_special_tokens=True))Подробнее
Бенчмарки (по данным авторов): GPQA Diamond — 92.9%, LiveCodeBench v6 — 90.5%, AA-LCR — 84.7%, SWE-bench Pro — 64.1%.Требования к железу: веса в BF16 занимают ~349.7 GiB (нужно от 400 ГБ на диске); для запуска в памяти рекомендуется система уровня 4 × H200.
Ограничения: требуется
trust_remote_code=True и transformers==5.19.0; представленные метрики являются сводкой от издателя без воспроизводимых логов прогона.









Comments