К содержимому
Компьютерное зрение

Industry-Coder-27B-v3.0

27B-модель для автономного кодинга, STEM и промавтоматизации

3 мин чтения

Industry-Coder-27B-v3.0 от автора kataguru — это мультимодальная языковая модель на 27,78 млрд параметров для написания сложного кода, работы в составе ИИ-агентов, решения научных задач и промышленного программирования. Модель построена на базе Qwen/Qwen3.8-27B с гибридной архитектурой (Gated DeltaNet + Full Softmax Attention), сохраняет визуальный энкодер (умеет работать с изображениями и текстом), модуль MTP (Multi-Token Prediction — ускоренное предсказание сразу нескольких токенов) и контекстное окно на 262 144 токена. В отличие от обычного дообучения на статичном датасете, автор использовал собственный адаптивный пайплайн с разделением LoRA-подпространств (чтобы новые навыки программирования не затирали базовые знания). Подойдёт разработчикам IDE- и CLI-агентов, инженерам АСУ ТП и тем, кто ищет локальную модель уровня 27B с сильным рассуждением и вызовом инструментов.

Ключевые особенности

  • Тройной адаптивный пайплайн обучения: модель дообучалась только на тех примерах, которых ещё не знала, с динамической регулировкой длительности по контрольным тестам каждые 50 шагов и автобалансировкой доменов из банка на 156 713+ проверенных задач.
  • Ортонормальное разделение LoRA (`r=16`): первая половина ранга (`[0:8]`) закрепляет базовые и отраслевые знания, а вторая (`[8:16]`) отвечает за олимпиадное программирование, глубокое рассуждение в тегах и параллельный вызов функций.
  • Промышленная специализация и билингвальность: помимо стандартных языков программирования, модель заточена под промышленную автоматизацию (Siemens SCL, Beckhoff TwinCAT 3 ST, CNC G-code) и уверенно владеет английским и финским языками.
  • Сохранены мультимодальность и MTP: при слиянии весов полностью сохранены 27-слойный визуальный энкодер (`333` тензора) и головы спекулятивного декодирования (`15` тензоров).

Что можно сделать

  • Автономные агенты в IDE и CLI: использовать модель для многошаговой разработки, рефакторинга и параллельного вызова внешних инструментов через (в тесте BFCL Non-Live Parallel точность достигает 94,50%).
  • Генерация и отладка промышленного кода: писать и проверять управляющие программы для ПЛК и станков с ЧПУ на Siemens SCL, TwinCAT 3 ST и CNC G-code.
  • Решение сложных STEM- и алгоритмических задач: применять для олимпиадного программирования, математических выкладок с пошаговым рассуждением и анализа технических схем или скриншотов.

Пример

Сценарий запуска из карточки: развёртывание полных BF16-весов через vLLM с тензорным параллелизмом TP=2 на двух GPU по 48–80 ГБ VRAM (для систем с 1–2 видеокартами на 32 ГБ автор также выпустил квантованные версии NVFP4, W4A16-AWQ и GGUF).

Подробнее Бенчмарки (на 2x RTX 5090 32GB): среднее по 15 тестам — 71,90% (+3,05 п.п. к базовой Qwen3.8-27B); LiveCodeBench v6 — 64,57% (+22,28 п.п. к v2.0); GPQA Diamond — 82,32%; GSM8K — 92,12%; BFCL V4 Single-Turn AST — 86,27%.
Формат и объём: полные веса BF16 (`bfloat16`), 18 шардов safetensors общим весом 55,6 ГБ.
Железо: для BF16 рекомендуется vLLM (`TP=2`) на 2x GPU 48–80 ГБ VRAM; для 32 ГБ карт доступны отдельные квантованные сборки.
Контекст: нативное окно 262 144 токена, заявлены языки en, fi, et, hu, tr.
Примеры
Обсудить 1 26

Запустится ли?

Запустится в 4-bit

Полная точность не влезет, но сжатая версия поместится — качество почти не страдает до 8 бит, заметнее на 4 битах.

  • BF16веса 52 GB · готовые файлы57 GB
  • FP8 / INT8рекомендуемвеса 26 GB29 GB
  • 4-bitвеса 15 GB17 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # kataguru/Industry-Coder-27B-v3.0
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download kataguru/Industry-Coder-27B-v3.0 --local-dir ~/models/Industry-Coder-27B-v3.0
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Industry-Coder-27B-v3.0
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

Qwen/Qwen3.8-27B

Новые посты про версии Qwen3.8-27B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 2Все на Hugging Face

О модели

kataguru/Industry-Coder-27B-v3.0
Автор
kataguru
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

261

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии