SmolLM2-135M → 360M Bridge
ускорение генерации без перечитывания промпта
2 min readupdated
SmolLM2-135M → 360M Bridge — это обученный KV-мост (адаптер памяти «ключ-значение»), позволяющий маленькой модели SmolLM2-135M-Instruct прочитать запрос пользователя и передать своё внутреннее состояние более крупной SmolLM2-360M-Instruct. Благодаря этому 360M-модель начинает отвечать сразу, не тратя время на самостоятельное чтение промпта, что заметно сокращает задержку до появления первого токена (TTFT). Проект создан agentic-underground как воспроизведение метода LatentPort (arXiv:2609.25053v1) для работы прямо в браузере через WebAssembly на CPU. Подход пригодится разработчикам локальных и клиентских ИИ-приложений, где критична скорость отклика на слабом железе.
Ключевые особенности
- Ускорение в 1.87 раза: время до первого токена сокращается с сохранением качества ответов (на тестовых вопросах точность совпала с обычной 360M-моделью — 6 из 7).
- Компактный размер: файл весов
smollm2-135m-to-360m.safetensorsзанимает всего 48 МБ и не содержит весов самих языковых моделей. - Работа в браузере: мост написан на Rust и запускается нативно или в WebAssembly без установки тяжелых зависимостей.
- Передача через один токен: реализован механизм one-token handoff с коррекцией ранга 4, обеспечивающий совпадение следующих токенов (NCR) с оригинальной 360M на уровне 0.930.
Что можно сделать
- Запуск LLM в браузере: использовать мост внутри движка PrattleNot для быстрого клиентского инференса на CPU без отправки данных на сервер.
- Оптимизация локальных ассистентов: ускорить время реакции компактных диалоговых систем на базе пары SmolLM2-135M и SmolLM2-360M.
- Исследование KV-переноса: изучить маппинг между моделями с разной шириной слоёв и количеством голов внимания на открытом калибровочном корпусе из 600 вопросов.
Пример
В карточке приведён сценарий запуска в браузере через веб-демо PrattleNot (на базе prattle_core::bridge на Rust/WebAssembly): пользователь вводит промпт из 37 токенов, SmolLM2-135M-Instruct обрабатывает его на CPU, мост переводит её скрытые состояния (residual streams) в KV-память для SmolLM2-360M-Instruct, и та генерирует ответ за один токен передачи в 1.87 раза быстрее стандартного прогона.
Подробнее
Ускорение TTFT (37 токенов, WebAssembly на CPU): 1.87× (диапазон 1.83–1.91×) при теоретическом потолке 2.71×.Метрика согласованности следующего токена (NCR) с нативной 360M: 0.930 (без коррекции — 0.802).
Обучение: гребневая регрессия (ridge regression) по слоям 135M + коррекция ранга 4 (16 384 параметра, AdamW) на ~600 шаблонных вопросах.
Ограничения: не является моделью для
transformers, требует отдельной загрузки оригинальных моделей SmolLM2 от HuggingFaceTB (лицензия Apache-2.0).









Comments