Smart-Home Energy SLM
компактная языковая модель для анализа энергопотребления домов
2 мин чтенияобновлено
Модель основана на архитектуре Qwen3 и обучена с нуля на специально собранном датасете из 148 363 вопросов и ответов по энергопотреблению для оценки показаний приборов учета. При размере всего в 109M параметров она умеет вычислять стоимость электроэнергии, классифицировать уровень нагрузки, фиксировать пики потребления и отказываться отвечать при нехватке данных. Модель оптимизирована под конкретный формат промптов и не предназначена для свободного общения. Она подойдет для разработчиков, изучающих обучение небольших языковых моделей под узкие задачи домашней автоматизации.
Ключевые особенности
- Архитектура Qwen3 с grouped-query attention и RMSNorm
- Обучение с нуля на случайных весах без предобучения
- Специализация на расчете стоимости и анализе электрических нагрузок
- Точный отказ при неполных данных без галлюцинаций
Что можно сделать
- Запустить модель локально через Ollama для обработки вопросов по энергопотреблению
- Интегрировать модель в Python-приложение с помощью библиотеки transformers
- Протестировать точность ответов на датасетах бытовых приборов UCI и REFIT
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Design-Thinking-SLM/smart-home-energy-qwen3-scratch"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
question = "Appliances: 250 Wh at 2016-05-18 19:10. Is that unusually high?"
text = tok.apply_chat_template([{"role": "user", "content": question}], tokenize=False, add_generation_prompt=True)
ids = tok(text, return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=160, do_sample=False)
print(tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарки: pooled точны на 69.0% (UCI) и 43.1% (REFIT)Требования к железу: обучена на RTX 5060 Laptop GPU (8 GB), весит 379 MB в GGUF
Ограничения: слабая арифметика при большом количестве чисел, подходит только для учебных задач
Детали обучения: 109.1M параметров, 448 токенов контекста, 72 000 шагов










Комментарии