tiny-aya-reason-vr-lora
LoRA для рассуждений в логике, коде и финансах
2 min readupdated
Это LoRA-адаптер (небольшая надстройка над базовой моделью) от автора abhyudayhari, который расширяет навыки рассуждения языковой модели на смешанные задачи. На выходе модель лучше справляется с проверкой и решением задач по математике, финансам, логике и программированию. Адаптер обучен поверх промежуточной математической версии tiny-aya-reason-vr-math (на базе tiny-aya-global) методом GRPO (обучение с подкреплением на проверяемых ответах). При слиянии весов адаптер даёт полную модель tiny-aya-reason-vr, но позволяет подключать улучшенные навыки как лёгкий модуль. Пригодится разработчикам и исследователям, которые работают с компактными рассуждающими LLM.
Ключевые особенности
- Ставится строго поверх
abhyudayhari/tiny-aya-reason-vr-math, а не на исходнуюtiny-aya-global. - Обучена с проверяемыми наградами (verifiable rewards) сразу по четырём направлениям: математика, финансы, логика и код.
- Построена с рангом
r=64иalpha=128с охватом всех проекций attention и MLP. - Поддерживает слияние с базовыми весами через
merge_and_unload()для полученияtiny-aya-reason-vr.
Что можно сделать
- Подключить адаптер через библиотеку
peftповерхtiny-aya-reason-vr-mathдля локальных экспериментов с пошаговыми рассуждениями в коде, логике и финансовых расчётах. - Объединить адаптер с базовой моделью в единый чекпоинт, если уже скачана версия
tiny-aya-reason-vr-mathи не хочется загружать полнуюtiny-aya-reason-vrзаново.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("abhyudayhari/tiny-aya-reason-vr-math", torch_dtype="bfloat16", device_map="auto")
model = PeftModel.from_pretrained(base, "abhyudayhari/tiny-aya-reason-vr-lora")
tok = AutoTokenizer.from_pretrained("abhyudayhari/tiny-aya-reason-vr-lora")
Подробнее
Обучение: 1000 шагов GRPO, функция потерь DAPO (β = 0), 8 генераций на промпт, learning rate 1e-5 с линейным затуханием.Параметры LoRA: r 64, alpha 128, dropout 0; максимальная длина ответа — 2048 токенов.
Ограничения: лицензия CC-BY-NC 4.0 (только для некоммерческого использования) с соблюдением Cohere Labs Acceptable Use Policy.










Comments