К содержимому
Языковые модели

OnyX-9B

агентная модель для работы с терминалом и тулзами

2 мин чтения

OnyX-9B от компании Ajelix — это агентная языковая модель на 9.47 миллиарда параметров, созданная на базе Qwen3.5-9B. Она обучена для многошаговых сессий с использованием инструментов и терминала, включая рассуждения, вызов функций, анализ ответа и повторные действия. Модель сохраняет способность отвечать на прямые вопросы коротко и поддерживает нативный контекст до 262 тысяч токенов. Она пригодится разработчикам и инженерам для автоматизации задач в терминале, отладки кода и работы с репозиториями.

Ключевые особенности

  • Базируется на архитектуре Qwen3.5-9B с сохранением встроенного визуального энкодера.
  • Обучена для взаимодействия через вызовы bash-команд и генерацию разметки рассуждений.
  • Поддерживает нативную работу с инструментами по стандарту чат-шаблонов Qwen.
  • Распространяется в виде объединенного чекпоинта для Transformers и vLLM, а также в виде отдельного PEFT-адаптера (LoRA, небольшая надстройка над базовой моделью).

Что можно сделать

  • Запустить локально через Transformers для выполнения текстовых запросов и работы со скриптами.
  • Развернуть бэкенд модели с помощью vLLM для высокопроизводительной генерации.
  • Использовать PEFT-адаптер поверх базовой модели Qwen/Qwen3.5-9B.
  • Интегрировать модель в конвейеры автоматизации системного администрирования и отладки.

Пример

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AjelixAI/Onyx-9B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="bfloat16", device_map="auto")

tools = [{
    "type": "function",
    "function": {
        "name": "bash",
        "description": "Run shell commands in the container and return terminal output.",
        "parameters": {
            "type": "object",
            "properties": {
                "command": {
                    "type": "string"
                },
                "required": ["command"],
            },
        },
    },
}]

messages = [{"role": "user", "content": "List the files in /app."}]
text = tokenizer.apply_chat_template(
    messages, tools=tools, tokenize=False, add_generation_prompt=True, enable_thinking=True
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=1024, do_sample=False)
print(tokenizer.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
ПодробнееБенчмарки: официальные результаты пока не опубликованы.
Требования к железу: объединенный чекпоинт весит 18.8 ГБ (требуется поддержка bfloat16).
Ограничения: обучена преимущественно на инструменте bash, безопасность выполнения деструктивных команд не проверялась.
Лицензия: Apache-2.0.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # AjelixAI/Onyx-9B
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download AjelixAI/Onyx-9B --local-dir ~/models/Onyx-9B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Onyx-9B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

  • MTP (multi-token prediction)0.34.0от 16 ноября 2026новая версия

    1.5–2× скорость генерации

    Если в модели есть MTP-слои (DeepSeek-V3/R1, Qwen3-Next, GLM, MiMo и др.), она сама предсказывает несколько токенов за шаг.

    Как включить: vLLM / SGLang: --speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'. Смотрите карточку модели.

    Предыдущие поколения (2)
    • EAGLE-3 — Спекулятивное декодирование с маленькой «черновой» головой. Для моделей без своих MTP-слоёв.
    • EAGLE-2 / Medusa — Предыдущие поколения драфт-голов. Если нашли только их — тоже работают.
  • FP8 KV cache0.34.0от 16 ноября 2026новая версия

    в 2× больше контекста в той же памяти

    Хранит кэш внимания в 8 битах — длинный контекст влезает туда, где раньше не помещался.

    Как включить: vLLM: --kv-cache-dtype fp8; llama.cpp: -ctk q8_0 -ctv q8_0.

  • vLLM / SGLang0.34.0от 16 ноября 2026новая версия

    в разы больше токенов/с на сервере

    Серверные движки: пакетная обработка, FlashAttention, FP8, спекулятивное декодирование из коробки.

    Как включить: vllm serve <модель> — OpenAI-совместимый API.

    Предыдущие поколения (1)
    • llama.cpp — GGUF-модели на любой видеокарте, Mac и даже CPU; часть слоёв можно держать в ОЗУ.

Семья модели

Новые посты про версии Onyx-9B — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

AjelixAI/Onyx-9B
Автор
AjelixAI
Категория
Языковые модели
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Языковые модели

Hips1.0-0.8B

Hips1.0-0.8B
Другое

OmniSRE

OmniSRE
Изображения

SIMB

SIMB