AnyS1-4B
быстрая System-1 модель для решений в агентных воркфлоу
2 мин чтенияобновлено
Модель AnyS1-4B создана на базе Qwen/Qwen3.5-4B-Base с использованием LoRA (небольшой надстройки над базовой моделью) и кастомной головы OptionInteractionHead. Она оценивает все возможные варианты ответа для агента за один проход и возвращает откалиброванные вероятности. Специальный порог уверенности решает, отвечать ли локально силами этой модели или передавать задачу более крупной System-2 модели. Инструмент полезен разработчикам AI-агентов для снижения задержек и затрат на вызовы тяжелых LLM.
Ключевые особенности
- Построена на базе модели
Qwen/Qwen3.5-4B-Baseс адаптацией LoRA (rank 16) и специальной головой для выбора вариантов. - Показывает высокую точность на бенчмарках (83.8% на Offline Dev и 93.5% на SOPBench E nodes).
- Обеспечивает медианную задержку одного прохода от 21.8 до 31.7 мс на одном H100.
- Снижает стоимость выполнения эпизодов на 75–91% и сокращает время работы моделей на 63–92% по сравнению со стандартным подходом.
Что можно сделать
- Запустить локальный сервер для оценки решений AI-агентов с помощью официального репозитория.
- Интегрировать модель в кастомные агентные воркфлоу для быстрой фильтрации и классификации вариантов.
- Настроить confidence gate (порог уверенности) для гибкого переключения между локальной моделью и System-2.
Пример
Запуск локального сервера для инференса:
git clone [https://github.com/middle-chunjie/AnyS1.git](https://github.com/middle-chunjie/AnyS1.git) && cd AnyS1 && pip install -e .
huggingface-cli download smSquirrel/AnyS1-4B --local-dir ckpt/AnyS1-4B
python -m anys1.model.serve_s1 --checkpoint ckpt/AnyS1-4BПодробнее
Базовая модель: Qwen/Qwen3.5-4B-BaseОбучение: на 25,986 состояниях из 1,072 публичных навыков
Точность: 83.8% Offline Dev, 93.5% SOPBench E nodes
Ограничения: работает только с перечисляемыми решениями, для свободной генерации используется System-2










Комментарии