SKYCONTROL S1-2M
2-мегабайтный трансформер для команд авиадиспетчера
2 min readupdated
Крошечная языковая модель на 2 миллиона параметров от srinath-exe, которая переводит свободную речь авиадиспетчера в чёткие машинные команды для симулятора. Она создана для браузерной игры SKYCONTROL, где игрок голосом управляет воздушным движением в аэропорту Сан-Франциско. Модель написана с нуля на архитектуре в стиле Llama (4 слоя, RoPE, SwiGLU) и сжимается в int8-версию весом всего 2 МБ — она запускается прямо в браузере на мобильном процессоре без отправки данных на сервер. Пригодится разработчикам игр, голосовых интерфейсов и локальных NLU-модулей (понимание естественного языка) для узких доменов.
Ключевые особенности
- Сверхлёгкий вес: 2 030 208 параметров (2 МБ в квантовании int8), загрузка за 0.24 секунды и инференс за 110–170 мс на CPU телефона.
- Работа по контексту частоты: модель получает список бортов в эфире (позывной, высота, курс) и сопоставляет фразы вроде «emirates eight six five» с нужным самолётом, а при неясности выдаёт
SAY AGAIN. - Обучение с подкреплением GRPO: предобучена с нуля на 205 тыс. синтетических примеров из 11 аэропортов и дообучена через GRPO (метод RL-оптимизации) с наградой от самого симулятора и разговорными формулировками.
- Защита от галлюцинаций позывных: при генерации первые токены ограничиваются только теми самолётами, которые реально находятся на частоте.
Что можно сделать
- Встроить в авиасимулятор или браузерную игру для голосового управления трафиком без серверных затрат.
- Использовать
model.pyи пайплайн int8-экспорта как референс для создания собственных микро-трансформеров под узкие голосовые команды. - Изучить связку синтетической генерации данных и GRPO-дообучения для парсинга неформальной речи в строгий формат команд.
Пример
pip install torch safetensors
python example.pyПодробнее
Точность (exact match) на стандартной фразеологии: 94% на знакомых аэропортах, 88% на новых и 79% поверх распознавателя речи.Тест в свободной речи (60 команд): 51 выполнена верно, 2 отправлены с ошибкой; стресс-тест: 81 из 86 верно, 108 из 115 некомандных фраз корректно отсеяны.
Ограничения: числа на входе должны быть заранее переведены в цифры («heading 300», а не «three zero zero»); модель предназначена только для игр.










Comments