strands-decider-2B

Это Q8_0 GGUF-версия strands-decider-2B-qwen3.5-v1-2610 от команды Strands Agents, собранная на базе Qwen3.5-2B-Base с объединённым LoRA-решателем. Это не чат-модель: llama-server отдаёт эмбеддинги, а decide.py превращает скрытые состояния в ответы через отдельный pointer head. Репозиторий — зеркало с файлами, нужными для запуска.

⚙ Ключевые особенности

• 🧩 База Qwen3.5-2B-Base, LoRA decider объединён в GGUF, pooling_type = last.
• 🔎 llama-server запускает модель в режиме --embeddings; контекст 8192.
• 🧊 В комплекте head.safetensors и клиент decide.py на numpy.
• ⚜ Есть запись для каталога Lemonade: recipe llamacpp, labels embeddings.
• 💡 Лицензия Apache-2.0, как у decider и Qwen3.5-2B-Base.

🐍 Пример

llama-server -m strands-decider-2B-qwen3.5-v1-2610-Q8_0.gguf --embeddings -c 8192 -b 4096 -ub 4096 --port 8080
pip install numpy safetensors
python decide.py

Подробнее

Q8_0 GGUF; база Qwen3.5-2B-Base; LoRA merged; pooling_type = last.
Не чат-модель: нужны llama-server с --embeddings, head.safetensors и decide.py.
Контекст 8192, batch/ubatch 4096; лицензия Apache-2.0.
Бенчмарки и требования к VRAM в карточке не указаны.