Qwen3-1.7B Triton Kernel Writer

Это файнтюн Qwen3-1.7B от cgpadwick2020, который пишет Triton GPU-ядра для модулей PyTorch. Модель — финальный чекпоинт GRPO run 10 (шаг 964): после SFT на проверенных учительских ядрах её дообучали с наградой за компиляцию и корректный запуск против PyTorch-референса.

🧐 Ключевые особенности

• 🔥 Сначала SFT на проверенных учительских ядрах, затем GRPO с проверкой компиляции и запуска.
• 🧐 Полный файнтюн Qwen3-1.7B; чекпоинт сохранён в fp32 и выложен в bf16.
• 🚀 В промпте — эталонный модуль и функции get_inputs()/get_init_inputs(); на выходе ModelNew.
• 💯 Корректность проверяется на большом размере входа и исходном размере задачи; награда только за проходящий вариант.
• 👀 Обучение шло на 3 857 задачах, 964 шага, по 8 задач × 16 сэмплов на шаг.

🚀 Пример

На вход подаётся эталонный PyTorch-модуль в блоке кода после фразы о референсе; модель должна вернуть ModelNew. Например, для модуля с get_inputs() и get_init_inputs() она сгенерирует Triton-ядро, которое затем компилируется и сверяется с PyTorch-референсом.

Подробнее

Тест: pass@1 51.0, pass@16 67.8 (152 задачи × 16 сэмплов).
KernelBench pass@10: текущие размеры — L1 75%, L2 50%; размеры начала 2025 — L1 83%, L2 47%.
GRPO run 10: 2 эпохи, 3 857 задач, 964 шага, lr 3e-6, completions 4 096 токенов, full fine-tune.
Сэмплирование: temperature 0.6, top-k 20, top-p 0.95; чат-шаблон с пустым think-блоком.