d1-qwen-0.6B

Экспериментальная модель для текстовых решений на базе Qwen3-0.6B от Grizzlykw. Замороженный бэкбон Qwen и обученная линейная compatibility head на 1 025 параметров читают последнее представление входного токена и выдают решение без генерации токенов ответа. API повторяет текстовую классификационную часть LiquidAI d1, но это независимая реализация без весов LiquidAI и без заявки на бенчмарки d1.

🦾 Ключевые особенности

• ✅ Поддерживает noul, choice и score: вероятность «да», выбор из описаний и медианный уровень.
• 🦾 Обучена только линейная голова на 1 025 параметров; веса Qwen3-0.6B остаются замороженными.
• 🔥 system_one_batch объединяет запросы в один forward call, но память растёт с числом кандидатов.
• 📉 Лимит — 512 токенов на строку кандидата, включая chat template и вопрос; длиннее — ошибка.
• 🐆 Нет генеративной головы, извлечения span/чисел/дат, оценки чисел и медиа-голов.

😎 Пример

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "models/d1-qwen-0.6b", trust_remote_code=True,
    dtype=torch.float32, local_files_only=True,
)
out = model.system_one("I was charged twice. Please refund the extra payment.", {"billing": {"type": "noul", "instructions": "Does this message concern charges or refunds?"}})

Подробнее

Цифр бенчмарков в карточке нет: автор прямо говорит, что это стартовая модель, а не валидированная замена d1.
Обучение: 1 025 параметров линейной головы, cross-entropy/BCE и штраф за отклонение от начальной головы; калибровочная потеря выбирает чекпойнт и температуру.
CPU: packed FP16 для линейных весов и float32 активации; CUDA по умолчанию FP16 autocast, голова float32; MPS — FP32.
Ограничения: 512 токенов на строку, нет генерации, извлечения span/чисел/дат и медиа; вероятности нужно калибровать на своих данных.