Ojas1004/smart-home-energy-slm
компактная модель для анализа расхода электричества в умном доме
2 min read
Лёгкий LoRA-адаптер (небольшая надстройка над базовой моделью) на базе Qwen2.5-0.5B-Instruct для локальных хабов умного дома. Модель отвечает на вопросы о потреблении электроэнергии бытовыми приборами на коротких интервалах от 10 минут до 24 часов, опираясь строго на данные из промпта. В отличие от обычных LLM, она обучена не додумывать лишнего и честно отвечать «невозможно определить», если по показаниям счётчика нельзя узнать о присутствии людей, расходе отдельного прибора, тарифах или поломках. Подойдёт разработчикам систем домашней автоматизации и IoT-устройств с ограниченными ресурсами.
Ключевые особенности
- Компактный размер на базе 0.5B-модели — подходит для запуска на локальных домашних серверах и хабах.
- Строгая опора на факты: корректно отказывается отвечать на вопросы с ложными предпосылками или недостающими данными.
- Обучена на 25 027 парах «вопрос-ответ» из датасета UCI Appliances Energy Prediction.
- Высокая точность предсказания токенов на валидации — 98.5% при validation loss 0.040.
Что можно сделать
- Встроить в домашний энергетический хаб (например, Home Assistant) для текстовой классификации всплесков нагрузки на английском языке.
- Использовать как интерпретатор телеметрии: передавать модели предварительно посчитанные в коде суммы и даты для генерации понятных отчётов.
- Взять за основу для дообучения под показания счётчиков собственного дома с локальными порогами пикового потребления.
Пример
from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer
import torch
repo = "Ojas1004/smart-home-energy-slm"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoPeftModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
q = "At 2016-05-26 17:10 the appliances used 620 Wh in 10 minutes. How would you classify this consumption level?"
Подробнее
Метрики: validation loss 0.040 и token accuracy 98.5% на 4 342 примерах; 10 из 14 точных совпадений при выборочной проверке по задачам.Обучение: LoRA (r=16, alpha=32, dropout 0.05) через TRL SFTTrainer, 2 эпохи на 1× RTX 5060 Laptop GPU (8 GB) за ~1.5 часа.
Ограничения: модель ошибается в арифметике и днях недели (расчёты лучше делать кодом), даёт приблизительные точечные прогнозы и обучена на данных одного энергоэффективного дома в Бельгии (январь–май 2016), поэтому пороги вроде «пикового» потребления привязаны к нему.










Comments