r4w-faq-qwen05b-merged

Это объединённая версия Qwen2.5-0.5B-Instruct (0,49 млрд параметров) с LoRA-адаптером, обученная на испанском для ответов на частые вопросы клиентов брокерской компании Renta 4 Wealth в Чили. Автор — Guillermo de la Casa Carrascosa; модель сделана в рамках учебного воркшопа по дистилляции Университета Адольфо Ибаньеса (октябрь 2026).

🔎 Ключевые особенности

• 💼 Домен: паевые фонды и money market, профиль инвестора, открытие счёта и KYC, акции, фиксированный доход и срочные депозиты, APV и налоги. Объясняет понятия и процессы, но не даёт инвестиционных рекомендаций.
• ⌨ Обучение: SFT с LoRA (r=16, alpha=32) на 240 парах вопрос-ответ на испанском, сгенерированных LLM-учителем gpt-6-luna через OpenAI API, с проверкой по выборке.
• 📡 Есть отдельная лёг��ая версия только с адаптером (~35 МБ) — репозиторий без суффикса -merged.
• ❗ 0,5B учит тон лучше содержания: путает близкие понятия, выдумывает аббревиатуры и цифры (например, несуществующий «recargo de 300 UF»); вне домена отвечает как брокер и теряет общие знания базовой модели.
• 🚫 Не использовать для финансовых консультаций и реальных решений: нормативные цифры меняются, а модель не связана с Renta 4.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained('gdelacasa/r4w-faq-qwen05b-merged')
model = AutoModelForCausalLM.from_pretrained('gdelacasa/r4w-faq-qwen05b-merged')

Подробнее

На фиксированном экзамене из 30 вопросов средняя оценка выросла с 2,77 до 3,87; порог ≥7 прошли 7% → 10% ответов.
LoRA: 3 эпохи, lr 0,0005, batch 4, обучение на CPU (MacBook Air M5); данные не опубликованы.
Ручной аудит 10 пунктов: судья совпал с человеком в пределах ±1 балла в 9 из 10 случаев, с небольшим смещением вверх.
Лицензия адаптера Apache 2.0, но данные генерировал коммерческий LLM — проверьте условия провайдера.