hackathon-team6-cubicasa-ae
поиск похожих планировок по картинке
2 мин чтенияобновлено
Свёрточный автоэнкодер (нейросеть, которая сжимает изображение в компактный числовой вектор и восстанавливает обратно) от команды студентов IAAC MaAI 2026/27. Модель переводит картинку архитектурного плана размером 128×128 пикселей в код из 128 чисел: у похожих по форме и пропорциям планировок эти коды оказываются рядом, что позволяет мгновенно искать близкие аналоги. В репозитории уже лежат готовые векторы для 5 000 реальных планов домов из датасета CubiCasa5K, а сама модель весит всего 4,5 МБ в формате ONNX (открытый стандарт для быстрого запуска нейросетей) и работает даже на обычном CPU. Инструмент пригодится архитекторам и студентам для быстрого подбора референсов по общей геометрии здания.
Ключевые особенности
- Сверхлёгкая архитектура: 1,17 млн параметров, веса в ONNX и PyTorch, обучение и инференс без необходимости в мощной видеокарте.
- Два выхода сразу: возвращает 128-мерный вектор
codeдля поиска по расстоянию и восстановленную картинкуreconstruction. - Готовая база для поиска: в комплекте идут предрасчитанные эмбеддинги
collection_codes.npyна 5 000 преимущественно финских жилых планов. - Точнее классических методов: при сдвиге плана на 3 пикселя и добавлении шума находит оригинал в 69% случаев против 25% у PCA и 4% при сравнении сырых пикселей.
Что можно сделать
- Поиск архитектурных аналогов: загружать эскиз или чертёж и получать топ-5 похожих по контуру и пропорциям планировок из базы CubiCasa5K.
- Визуализация и кластеризация базы: строить UMAP-карты больших коллекций чертежей, группируя их по вытянутости, площади застройки и плотности линий.
- Встраивание в веб-сервис: подключить 4,5-мегабайтный ONNX-файл в локальное приложение или Telegram-бот для подбора референсов планировок.
Пример
session = ort.InferenceSession(hf_hub_download(repo, "floorplan_ae.onnx"))
collection = np.load(hf_hub_download(repo, "collection_codes.npy"))
ids = json.load(open(hf_hub_download(repo, "collection_ids.json")))
code, reconstruction = session.run(None, {"image": preprocess(plan_path)})
distances = np.linalg.norm(collection - code, axis=1)
for i in np.argsort(distances)[:5]:
print(ids[i], round(float(distances[i]), 1))
Подробнее
Метрики (тест CubiCasa5K, 400 планов): Test MSE 0.0131 (против 0.0153 у 32-мерной версии), Retrieval top-1 при сдвиге на 3 px — 69% (на контрастных сканах до 98%, на бледных — 28%).Препроцессинг строго фиксирован: оттенки серого, инверсия цветов (белые стены на чёрном фоне), дополнение чёрным до квадрата, ресайз Lanczos до 128×128, нормализация [0, 1].
Ограничения: при 128×128 теряются двери, мебель и текст, модель не инвариантна к поворотам и чувствительна к яркости линий скана.
Лицензия: CC BY-NC-SA 4.0 (только для некоммерческого использования).










Комментарии