pylingual-v1-control-flow
восстановление структуры кода при декомпиляции Python
2 min readupdated
Модель из проекта PyLingual от команды syssec-utd решает задачу реконструкции потока управления (control flow): по байт-коду и набору транслированных инструкций она предсказывает, как блоки вложены друг в друга, формируя структурный скелет программы. Архитектура объединяет 4-слойный энкодер Transformer и 2-слойный декодер LSTM на 5.1M параметров, а специальный автомат с магазинной памятью (pushdown automaton) отсекает невалидные шаги, гарантируя компилируемость итогового кода. Одна модель сразу охватывает версии от Python 3.6 до 3.15 и пригодится исследователям безопасности, реверс-инженерам и разработчикам инструментов анализа скомпилированного Python-кода.
Ключевые особенности
- Широкий охват версий: одна компактная модель на 5.1M параметров работает со всеми версиями от Python 3.6 до 3.15.
- Гарантия компилируемости: грамматическая маска блочной структуры Python не даёт декодеру построить синтаксически некорректный скелет.
- Высокая точность: на отложенной тестовой выборке предсказанный скелет полностью совпадает с исходным в 95.5% случаев.
- Кастомная загрузка: работает через класс
TransitionModelиз библиотеки PyLingual, а не через стандартныйAutoModel.
Что можно сделать
- Восстановление читаемого кода: использовать в составе пайплайна PyLingual для декомпиляции скомпилированных
.pycфайлов в структурированный исходный код на Python. - Анализ байт-кода разных поколений: применять единый инструмент при аудите и реверс-инжиниринге проектов, собранных под разные версии интерпретатора (3.6–3.15).
Пример
На вход модель получает байт-код объекта и переведённые инструкции, а на выходе генерирует структурный скелет вложенности блоков, например: { } else { }. Загружается модель через класс TransitionModel в репозитории PyLingual.
Подробнее
Метрика на тесте: точное совпадение скелета с исходником на 95.5% объектов кода (validation loss 0.0095).Архитектура: 4 слоя Transformer (d_model 256, 8 голов) + 2 слоя LSTM, всего 5.1M параметров.
Обучение: 150k исходников (по 15k на версию из PyPI и CodeSearchNet), 48 эпох, lr 1e-3 с cosine schedule, батч до 64 объектов.
Ограничение: не поддерживается стандартный загрузчик
AutoModel из transformers — требуется код из pylingual.









Comments