qwen3.8-flash-next-p100a
запуск Qwen3.8-Flash-Next на одной карте Tenstorrent Blackhole p100a и CPU
2 min read
Это порт и готовый сервер инференса (выполнения нейросети) от автора sunandbean, позволяющий запускать тяжелую MoE-модель (архитектура с разделением на множество узких «экспертов») Qwen3.8-Flash-Next на одном ускорителе Tenstorrent Blackhole p100a в связке с обычным десктопным процессором. Плотные слои, голова модели, слой спекулятивного декодирования MTP и самые востребованные «эксперты» размещаются в памяти ускорителя, а остальные эксперты подгружаются из GGUF-файла через CPU-ядра ggml. В отличие от чисто процессорного запуска, гибридная схема с кастомными ядрами ttnn и спекулятивным декодированием дает 10–17 токенов в секунду при контексте до 32k. Решение подойдет владельцам карт Tenstorrent и энтузиастам локального ИИ, которым нужен локальный API, совместимый с OpenAI и Anthropic.
Ключевые особенности
- Гибридное распределение нагрузки: горячие эксперты (8 или 16 ГБ) и основные слои работают на карте p100a, остальные читаются из GGUF на CPU.
- Ускорение через MTP: спекулятивное декодирование (предсказание сразу нескольких токенов вперед) поднимает скорость генерации с ~8–9 до 10.4–16.6 tok/s.
- Три профиля запуска:
coder(256 экспертов, по умолчанию), ускоренныйcoder-fastи базоваяfullна 512 экспертов. - Готовый API и кеш префиксов: поддержка эндпоинтов OpenAI и Anthropic (включая режим рассуждений и работу с Claude Code), а также разделение времени для нескольких пользователей.
Что можно сделать
- Подключить к Claude Code: запустить сервер с флагом
--thinking offи использовать локальную модель для написания кода и тестов через Anthropic API. - Интегрировать в свои сервисы и агенты: подключить как локальный бэкенд по стандартному протоколу
/v1/chat/completionsс поддержкой стриминга и вызова инструментов (tools). - Выбрать баланс под задачи: использовать
coder-fastдля максимальной скорости генерации кода или профильfullдля универсальных задач и работы с корейским языком.
Пример
tt-model pull sunandbean/qwen3.8-flash-next-p100a --with-weights
tt-model serve sunandbean/qwen3.8-flash-next-p100a
curl -s localhost:20000/v1/chat/completions -H 'Content-Type: application/json' -d '{
"model": "qwen3.8-flash-next-p100a-coder", "max_tokens": 300,
"messages": [{"role": "user", "content": "Write a Python function that parses ISO-8601 durations."}]}'Подробнее
Качество и скорость: 50/50 на бенчмарке GSM8K-50; до 16.6 tok/s на коде в профиле coder-fast (тест на Ryzen 9 7900 + p100a), чтение промпта 31–58 tok/s.Железо: требуется одна карта Tenstorrent p100a, процессор x86-64 с AVX2 (от 8 ядер), минимум 64 ГБ ОЗУ и ~110 ГБ на диске для coder (+90 ГБ для full).
Ограничения: при нехватке 64 ГБ RAM скорость падает до скорости диска; при первом запуске скачивается ~96 ГБ весов и собирается кеш на 14 ГБ; контекст ограничен 32k токенов.
Лицензия: код порта — Apache-2.0, веса — Qwen Community License 1.0 (есть ограничения для коммерческих MaaS и AI-ассистентов).










Comments