Starlord-4B-v2.0-preview
модель для принятия решений на базе Qwen
1 мин чтения
Новая модель Starlord-4B-v2.0-preview создана на базе Qwen/Qwen3.5-4B (4.54 млрд параметров) и представляет собой модель для принятия решений (decision model). Вместо генерации текста она считывает логиты кандидатов из оригинального словаря и обрабатывает состояние вместе со всеми вопросами за один проход (forward pass). Модель поддерживает длину контекста до 131 072 токенов и до 512 вариантов выбора на один вопрос. Разработка пригодится исследователям и инженерам, работающим с логическим выбором вариантов и бенчмарками.
Ключевые особенности
- Работает без генерации текста, считывая логиты из оригинального словаря
- Поддерживает контекст до 131 072 токенов для совместных запросов
- Способна обрабатывать до 512 вариантов выбора на один вопрос
- Требует совместимую BF16 CUDA GPU (например, NVIDIA H800) и FlashAttention
Что можно сделать
- Запустить оценку производительности на бенчмарках JevBench и Decision Index
- Развернуть модель как локальный сервис для оценки вариантов ответов
- Использовать в исследовательских пайплайнах для задач на выбор из множества опций
Пример
export PYTHONPATH="$PWD/inference${PYTHONPATH:+:$PYTHONPATH}"
CUDA_VISIBLE_DEVICES=0 python -m decision_index pipeline \
--edition 0.3 \
--suite-dir /path/to/suite-0.3 \
--engine di_engine:DecisionIndexEngine \
--model . \
--option maximum_tokens=131072 \
--out decision-index-resultsПодробнее
Бенчмарки: JevBench Public — 94.37% (218/231), Decision Index Public 0.3 — 78.91%Железо: 1 × NVIDIA H800 с поддержкой BF16 и CUDA Graph
Ограничения: KV-кеш отключен, генерация токенов равна 0
Стек: PyTorch 2.10.0, Transformers 5.3.0, FlashAttention 2.8.3










Комментарии