SparkQwen
компактный QLoRA-адаптер для генерации кода на PySpark
2 min readupdated
Модель превращает текстовое описание задачи и схему таблиц в готовый исполняемый код для Apache Spark и PySpark. Это QLoRA-адаптер (лёгкая надстройка с 4-битным квантованием, которая дообучает лишь 1% параметров базовой модели) на основе Qwen/Qwen3-1.7B от автора AaronTekle. В отличие от базовой Qwen3-1.7B, которая часто ошибается в синтаксисе Spark, адаптер целенаправленно заточен под API DataFrame и заметно повышает долю валидного Python-кода. Подойдёт дата-инженерам и разработчикам для быстрой генерации пайплайнов и запросов на локальном железе.
Ключевые особенности
- Охватывает 15 категорий задач PySpark: трансформация DataFrame, джойны и оконные функции, Spark SQL, UDF/Pandas UDF, Structured Streaming, Delta Lake, MLlib и оптимизация производительности.
- Принимает на вход формулировку задачи вместе со схемой DataFrame и названиями колонок, чтобы не выдумывать несуществующие поля.
- Обучен методом 4-bit NF4 QLoRA (обновлено 17,4 млн из 1,74 млрд параметров) на локально сгенерированном синтетическом датасете из 900 примеров.
- Повышает долю синтаксически корректного Python-кода (проверка через Python AST) с 58,67% у базовой Qwen3-1.7B до 95,33% на тестовой выборке.
Что можно сделать
- Встроить в локального ассистента для дата-инженеров, чтобы быстро писать агрегации, фильтрацию и сложные джойны по переданной схеме таблиц.
- Генерировать шаблоны для потоковой обработки данных (Structured Streaming), операций с Delta Lake и базовых пайплайнов MLlib.
- Использовать для рефакторинга и оптимизации Spark-запросов, партиционирования и работы со вложенными структурами данных.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_id = "Qwen/Qwen3-1.7B"
tokenizer = AutoTokenizer.from_pretrained(base_id)
base_model = AutoModelForCausalLM.from_pretrained(base_id, load_in_4bit=True, device_map="auto")
model = PeftModel.from_pretrained(base_model, "AaronTekle/SparkQwen").eval()
Подробнее
Метрики (150 тестовых задач, greedy decoding, max_new_tokens=384): синтаксически валидный код — 95,33% против 58,67% у базовой Qwen3-1.7B; среднее посимвольное сходство с эталоном — 0.6354 против 0.1009.Обучение: 600 тренировочных и 150 валидационных синтетических примеров (180 семейств алгоритмов), 3 эпохи через TRL SFTTrainer.
Требования: для запуска примера из карточки нужны CUDA GPU и библиотеки PyTorch, Transformers, PEFT, Accelerate и bitsandbytes.
Ограничения: модель не проверялась на продакшен-задачах, при нехватке контекста может выдумывать колонки или пути к файлам, а код для Delta Lake, стриминга и кластеров требует ручной проверки перед запуском.










Comments