Air-Quality SLM v3
компактная языковая модель для экомониторинга
2 мин чтенияобновлено
Air-Quality SLM v3 — это специализированная маленькая языковая модель (SLM) с архитектурой в стиле Qwen3, содержащая всего около 20.4 млн параметров. Модель обучена на данных датчиков городской атмосферы и поставляется в форматах GGUF и PyTorch для локального запуска. Новая версия v3 добавляет удобный шаблон для Ollama с поддержкой системных инструкций, используя веса предыдущего этапа обучения. Модель ориентирована на разработчиков и исследователей, изучающих легковесные доменные нейросети на слабом железе.
Ключевые особенности
- Архитектура: кастомный блок в стиле Qwen3 с grouped-query attention и RMSNorm.
- Формат: доступна в виде GGUF (F16) и PyTorch state dict.
- Запуск: полная интеграция с Ollama через готовый Modelfile.
- Ограничения: контекстное окно всего 128 токенов, узкая предметная область.
Что можно сделать
- Запустить модель локально через Ollama для тестов и интеграции.
- Протестировать генерацию текстовых ответов по экологическим датасетам UCI Air Quality.
- Загрузить модель напрямую через кастомный класс в PyTorch с помощью скрипта обучения.
Пример
# Запуск через Ollama из папки с GGUF и Modelfile
ollama create air-quality-slm-v3 -f Modelfile
ollama run air-quality-slm-v3Подробнее
Бенчмарки (v2): validation loss — 0.4877, test loss — 0.5555, test perplexity — 1.743.Требования к железу: чрезвычайно легкая модель, обученная на Ryzen 5 5600H без GPU.
Ограничения: высокая погрешность в числовых расчетах, галлюцинации дат и низкое разнообразие ответов.
Детали обучения: 614,400 токенов на датасете UCI Air Quality (2004–2005 гг.).










Комментарии