Tiny-Aya-Fire-Tameez-GRPO-LoRA
вежливый адаптер для хинди и хинглиша
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая надстройка над весами нейросети) от автора IINOVAII для модели Tiny-Aya-Fire-Hindi-SFT, созданной на базе CohereLabs/tiny-aya-fire. Проект Tameez учит компактные чат-модели отвечать без грубостей, вежливо отклонять опасные запросы и при этом не блокировать безобидные вопросы на трёх вариантах ввода: хинди (письменность деванагари), хинглише (хинди латиницей) и английском. Как показали тесты автора, обычное SFT-дообучение на хинди резко ухудшает безопасность модели, а этап GRPO (обучение с подкреплением с относительной оценкой групп ответов) исправляет этот перекос и возвращает качество знаний. Адаптер пригодится разработчикам мультиязычных ботов и исследователям, которые хотят изучить эффект GRPO или объединить веса с базой.
Ключевые особенности
- Снижает долю небезопасных ответов с 19,9% (после этапа Hindi SFT) до 4,3%, а на хинглише — с 56,1% до 31,7%.
- Поддерживает письменность пользователя в 99,3% случаев и отвечает на хинглише тем же стилем в 95,1% запросов (против 55,1% у исходной базы).
- Уменьшает долю грубых ответов с 8,2% до 3,1% по оценке классификатора MuRIL и сокращает нецензурную лексику до 0,8%.
- Выигрывает у SFT-версии в 62,9% парных сравнений по полезности ответов (оценка судьи Aya Expanse 8B), делая ответы в среднем на 20% короче.
Что можно сделать
- Подключить поверх
IINOVAII/Tiny-Aya-Fire-Hindi-SFTв чат-сервисах для аудитории Южной Азии, где пользователи часто пишут на хинглише и с эмоциональной лексикой. - Сравнить поведение модели до и после применения адаптера, чтобы на практике изучить, как Dr. GRPO корректирует отказы и тональность после SFT.
- Объединить веса через
merge_and_unload()для получения самостоятельного чекпоинта, аналогичногоIINOVAII/Tiny-Aya-Fire-Tameez-GRPO.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
base = AutoModelForCausalLM.from_pretrained("IINOVAII/Tiny-Aya-Fire-Hindi-SFT", torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "IINOVAII/Tiny-Aya-Fire-Tameez-GRPO-LoRA")
tok = AutoTokenizer.from_pretrained("IINOVAII/Tiny-Aya-Fire-Tameez-GRPO-LoRA")
model = model.merge_and_unload()
Подробнее
Бенчмарки: MILU Hindi — 45,0% (восстановлено 1,4 п.п. после SFT), GSM8K — 54,6%, IFEval — 65,0%, явный отказ на вредные запросы — 73,1%, ложные отказы на безобидные запросы — 3,5%.Обучение: LoRA с параметрами r=16, α=32 на всех проекциях attention и MLP (чекпоинт шага 300 из 300), этап Dr. GRPO на 4 652 промптах с шестью функциями награды.
Ограничения: ставить строго поверх
IINOVAII/Tiny-Aya-Fire-Hindi-SFT (не на CohereLabs/tiny-aya-fire); лицензия CC-BY-NC 4.0 (только некоммерческое использование).









Комментарии