LowRAM для Mistral-7B

Это не языковая модель, а набор предикторов LowRAM для mistralai/Mistral-7B-Instruct-v0.3. Метод сжимает KV-кэш длинноконтекстных LLM: восстанавливает values по keys, хранит поправки для сложных values и сжимает keys между слоями. Веса базовой модели остаются замороженными.

💎 Ключевые особенности

• 💎 Три компонента: meta_init (152 MB), value_mlps (25 MB) и attention_predictor (67 KB).
• ✅ Совместим с квантованием и token eviction.
• ⭐ Лёгкие предикторы адаптируются к каждому промпту во время инференса.
• 📌 Чекпоинты только для Mistral-7B-Instruct-v0.3; для Llama есть отдельный репозиторий.
• 🔨 Загружаются через кодовую базу LowRAM, а не через transformers отдельно.

💻 Пример

import pathlib, shutil
from huggingface_hub import snapshot_download

src = pathlib.Path(snapshot_download('lowram-model/lowram-mistral-7b'))
for part in ['meta_init', 'value_mlps', 'attention_predictor']:
    shutil.copytree(src / part, pathlib.Path('checkpoints') / part / 'Mistral-7B-Instruct-v0.3', dirs_exist_ok=True)

Подробнее

До 26,9× сжатия KV-кэша при сохранении 94,5% оценки LongBench; отдельная рабочая точка — 17,8× и 98%.
Это доля от несжатого baseline, а не абсолютная точность; сжатие относится к KV-кэшу, не ко всей GPU-памяти.
Чекпоинты только для Mistral-7B-Instruct-v0.3; .pt — PyTorch pickles, загружайте только из доверенного источника.