CODer-UniXcoder

Это набор из 24 классификаторов на базе microsoft/unixcoder-base, дообученных отличать человеческий Python-код от сгенерированного LLM. Модели обучены на AIGCodeSet и сопровождают статью Detecting LLM-Written Code on AIGCodeSet: Tuned Code Encoders versus N-gram Baselines. Доступны бинарные и мультиклассовые варианты для шести seed.

✨ Ключевые особенности

• 🤖 24 чекпоинта: 6 seed × 4 варианта задач
• 👀 binary и binary_generate: человек против LLM, во втором варианте без кода, отредактированного LLM
• 💻 multiclass и multiclass_generate: человек или конкретная LLM — GEMINI, LLAMA, CODESTRAL
• ✨ В статье seed-ensemble усредняет вероятности шести seed
• 📓 Входные данные нормализуют по пробелам и обрезают до 256 токенов

📓 Пример

from transformers import AutoModelForSequenceClassification, AutoTokenizer

repo, variant = "mparts/CODer-unixcoder", "seed3/binary"
tok = AutoTokenizer.from_pretrained(repo, subfolder=variant)
model = AutoModelForSequenceClassification.from_pretrained(repo, subfolder=variant)

Подробнее

Обучение: 4 эпохи, learning rate 2e-5, batch size 16, max length 256, weight decay 0.01, warmup ratio 0.1; веса из эпохи с лучшим dev macro-F1.
Ограничение: модель обучена на Python-решениях 317 задач CodeNet против трёх LLM — CodeLlama 34B, Codestral 22B и Gemini 1.5 Flash. Это исследовательский артефакт для данного сценария, а не универсальный детектор AI-кода.
Лицензия весов — MIT, обучающий набор AIGCodeSet — CDLA-Permissive-2.0.