Ternary-Flint-40B на Intel Arc
100+ tok/s через OpenCL
2 min readupdated
Это репозиторий с OpenCL-рантаймом для ternary MoE-модели Ternary-Flint-40B в GGUF PQ2_0. Код на Python (numpy + pyopencl) запускает 2-битную модель на одной Intel Arc A770 16 ГБ. Автор добавляет только рантайм: сам GGUF — неизменённая копия кванта от kabcpc, базовая модель Flint — от RecursiveSI.
Ключевые особенности
- 106,3 tok/s на коротком контексте и 102,9 tok/s в среднем до 2048 позиций на одной A770 16 ГБ.
- Минимальный OpenCL-рантайм: один Python-файл на numpy и pyopencl, без тяжёлого стека.
- В репозитории лежат GGUF PQ2_0 на ~11 ГБ, tokenizer.json и код; квантование сделал kabcpc.
- Есть команды check, speed, prompts и long для проверки корректности, скорости и perplexity.
- Пока только batch 1 и greedy-декодирование; автор ищет тестеры на других Intel Arc.
Пример
pip install -r requirements.txt
python flint_rt.py check --gguf Ternary-Flint-40B-PQ2_0-Calibrated-11GB.gguf --tokenizer tokenizer.json
python flint_rt.py speed --gguf Ternary-Flint-40B-PQ2_0-Calibrated-11GB.gguf --tokenizer tokenizer.json
Подробнее
Скорость: 106,3 tok/s на коротком контексте, 102,9 tok/s в среднем до позиции 2048.Prompt processing: 113 tok/s для 512 токенов (4,52 с); загрузка из кэша ~8 с.
Perplexity: 13,38 на 1600 токенах WikiText-2 (top-1 56,0%).
Нужны Intel Arc A770 16 ГБ, драйвер с OpenCL и расширениями cl_intel_subgroups, Python 3.10+, numpy, pyopencl, tokenizers; 10,3 ГБ на кэш.
Ограничения: batch 1, только greedy, без sampling, chat template и сервера; prefill по одному токену; тестировалось только на A770 под Windows.










Comments