PySparkQwen
компактный адаптер для генерации кода на PySpark
2 мин чтенияобновлено
PySparkQwen — это LoRA (небольшая надстройка над базовой моделью) для написания кода под Apache Spark на языке Python. Она создана автором AaronTekle на основе компактной кодовой модели Qwen2.5-Coder-1.5B-Instruct (1.5 млрд параметров) методом QLoRA (дообучение с 4-битным сжатием весов). На вход модель принимает описание задачи и схему данных, а на выходе возвращает готовый исполняемый PySpark-код с нужными импортами. В отличие от базовой версии, адаптер точнее придерживается заданных колонок и заметно реже допускает синтаксические ошибки. Подойдёт дата-инженерам и аналитикам для быстрой генерации типовых скриптов обработки данных без запуска тяжёлых нейросетей.
Ключевые особенности
- Обучена на синтетическом датасете из 900 примеров, разбитых на 15 категорий задач (от очистки данных и джойнов до Structured Streaming, Delta Lake и MLlib).
- Повышает долю синтаксически корректного Python-кода (проверка через
ast.parse) с 90.00% у базовой модели до 98.67% на отложенном тесте. - Поставляется как лёгкий PEFT-адаптер, который можно запускать поверх 4-битной базовой модели с низким потреблением видеопамяти.
- Ориентирована на использование Spark DataFrame API вместо pandas и RDD.
Что можно сделать
- Встроить в локального CLI-помощника или скрипт для генерации трансформаций, агрегаций и оконных функций по схеме таблиц.
- Автоматизировать написание шаблонных ETL-пайплайнов, парсинга вложенных структур и операций с Delta Lake.
- Использовать для прототипирования Spark SQL-запросов и задач машинного обучения в MLlib на локальной видеокарте.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_id = "Qwen/Qwen2.5-Coder-1.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(base_id)
base_model = AutoModelForCausalLM.from_pretrained(base_id, load_in_4bit=True, device_map="auto")
model = PeftModel.from_pretrained(base_model, "AaronTekle/PySparkQwen")
model.eval()
Подробнее
Тест (150 задач, greedy decoding, лимит 384 токена): валидный синтаксис — 98.67% против 90.00% у базы; среднее сходство последовательностей с эталоном выросло с 0.1168 до 0.6621.Обучение: 600 тренировочных, 150 валидационных и 150 тестовых примеров по 180 семействам алгоритмов.
Ограничения: при нехватке контекста или неполной схеме модель может выдумывать колонки, таблицы или пути; сгенерированный код нужно проверять перед запуском в продакшене.
Требует загрузки базовой модели
Qwen/Qwen2.5-Coder-1.5B-Instruct, поддерживает 4-битное квантование NF4.









Комментарии