DeepSeek-V4.1-Flash-1017-radiance
запуск DeepSeek-V4.1 на видеокартах AMD
2 мин чтенияобновлено
Автор aselzer сконвертировал большую языковую модель DeepSeek-V4.1-Flash-1017 в формат .rad для движка инференса radiance, ориентированного на GPU от AMD. Сборка создана для воспроизведения замеров высоконагруженного батчинга в проекте BatchSeek (обработка 512 одновременных запросов). Внутри основного файла сохранены оригинальные эксперты в кодировке MXFP4 и остальные веса в BF16/F32, а также добавлены таблицы Engram в сжатии IQ4_NL. Решение пригодится энтузиастам и исследователям, запускающим крупные MoE-модели на кластерах из потребительских карт AMD без использования NVIDIA.
Ключевые особенности
- Формат radiance (.rad): основной файл весом 416 ГБ собран конвертером radiance (коммит
bd65d4e) с поддержкой архитектуры DeepSeek-V4.1. - Удобная загрузка частями: модель разбита на 8 фрагментов примерно по 52 ГБ с проверкой контрольных сумм через
SHA256SUMS. - Два режима таблиц Engram: по умолчанию используются встроенные квантованные таблицы IQ4_NL, но можно подключить оригинальные шарды в FP8 (+203 ГБ) без потери скорости.
- Открытая лицензия MIT: весовые коэффициенты принадлежат DeepSeek, репозиторий меняет только формат хранения.
Что можно сделать
- Воспроизвести бенчмарки BatchSeek: протестировать параллельную генерацию на 512 потоках с помощью скрипта
serve-batch.sh. - Развернуть локальный сервер на AMD GPU: запустить модель на связке из нескольких видеокарт Radeon (в тестах использовались 4× RX 9070 XT) с большим объёмом системной ОЗУ.
- Сравнить точность квантования: сопоставить работу встроенных таблиц IQ4_NL и оригинальных FP8-шардов на собственных задачах.
Пример
./serve-batch.sh --model model.rad --silu-table silu_table_gfx1201.bin --streams 512 \
--engram-file engram-fp8/model-00047-of-00048.safetensors,engram-fp8/model-00048-of-00048.safetensorsПодробнее
Бенчмарк BIRD 256: 170 с (NLL 0.688) с оригинальными таблицами FP8 против 172 с (NLL 0.692) со встроенными IQ4_NL.Тестовый стенд: 4× AMD RX 9070 XT (16 ГБ VRAM каждая, архитектура gfx1201), процессор EPYC 7443 и 256 ГБ DDR4.
Объём файлов: 416 ГБ для
model.rad плюс 203 ГБ при использовании дополнительных шардов engram-fp8.









Комментарии