Qwen Finance-Distilled 0.6B

Это файнтюн Qwen3-0.6B, адаптированный для числовых финансовых задач: вопросов по таблицам, расчётов по контексту и структурированных ответов. Автор использовал response-based дистилляцию от Qwen3-8B и опубликовал слитые веса, а не отдельный LoRA-адаптер.

📌 Ключевые особенности

• 📊 Обучение на FinQA, TAT-QA и синтетических финансовых примерах.
• ⚙ Дистилляция от Qwen3-8B: ответы учителя проходили парсинг, арифметическую проверку и фильтрацию.
• 🔧 QLoRA: rank 16, alpha 32, dropout 0.05; обучение на Tesla T4.
• ✔ Модель отвечает в формате Calculation / Answer / Scale и умеет возвращать NOT_ANSWERABLE при нехватке контекста.
• ⚠ Это исследовательский эксперимент: возможны ошибки в расчётах, единицах и пропуск данных из таблиц.

💻 Пример

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "learner-subodh/qwen-finance-distilled-0.6b"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
# далее apply_chat_template, generate и decode

Подробнее

Оценка: по 50 примеров FinQA и TAT-QA, одинаковые промпты и greedy decoding; автор называет её exploratory, без сертификации.
Железо: NVIDIA Tesla T4, max sequence length 1024, effective batch size 4.
Ограничения: один training seed, возможны неверные единицы и расчёты; не для инвестиционных или кредитных решений.