Arete-27B-Gosset: 27-миллиардная модель на одной карте с 16 GB VRAM
2 мин чтения
Arete-27B-Gosset — это специальная квантованная версия гибридной языковой модели Arete-27B от Nous Research, сжатая методом Gosset Packing до 3.79 бит на вес (bpw). Благодаря глубокой компрессии результирующий размер на диске составляет около 13 ГБ, что позволяет модели полностью поместиться в видеопамять (VRAM) карт с 16 ГБ (например, RTX 5080) без выгрузки в системную оперативною память. Модель сохраняет мультимодальные возможности базовой архитектуры и контекст до 32 768 токенов по умолчанию, обеспечивая высокую скорость генерации и совместимость с OpenAI/Ollama API.
Ключевые особенности
- Полная резидентность в VRAM: Занимает всего 12.07 GiB статической памяти и пиково до 13.48 GiB на дефолтном контексте 32K.
- Высокая скорость генерации: Достигает 53.92 токенов в секунду при декодировании на проверенном железе.
- Гибридная архитектура: Использует слои DeltaNet с линейным вниманием O(1), что снижает потребление памяти под KV-кеш.
- Готовый рантайм: В комплект входит интерактивный CLI для чата и локальный сервер, совместимый с API OpenAI и Ollama.
Что можно сделать
- Локальный чат: Запустить полноценного интерактивного ассистента прямо на домашнем ПК с одной видеокартой.
- Локальный API-сервер: Поднять локальную точку доступа, совместимую с OpenAI и Ollama, для интеграции в сторонние приложения.
- Решение задач и кодинг: Использовать модель для программирования (высокие показатели на HumanEval) и рассуждений локально без облачных API.
Пример
Запуск интерактивного чата с моделью в терминале после установки зависимостей:
python run_e8_chat.pyПодробнее
Бенчмарки: HumanEval (pass@1) — 91.46%, GSM8K (на выборке 100 задач) — 93%.Требования: NVIDIA GPU с минимум 16 GB VRAM, Python 3.11+, ~14 GB свободного места.
Ограничения: Некоммерческая лицензия Gosset Evaluation License; перплексия выше BF16 оригинал примерно на 5-7%.
Особенности: 48 из 64 слоев используют линейное внимание с нулевым расходом KV-кеша.










Комментарии