Llama-3.1-8B-Instruct Math RFT Gold
LoRA для решения математических задач
2 мин чтенияобновлено
Этот LoRA-адаптер (небольшая надстройка над базовой моделью) создан на базе meta-llama/Llama-3.1-8B-Instruct и обучен методом безобычного отбора выборок (rejection-sampling fine-tuning) на тренировочной выборке датасета MATH. Модель специализируется на пошаговом решении математических задач с выдачей результатов в специальном формате. Она отличается улучшенными результатами на математическом бенчмарке MATH-500 благодаря отбору качественных примеров обучения. Адаптер пригодится исследователям и разработчикам, которым нужно повысить точность языковой модели в математических вычислениях.
Ключевые особенности
- Обучение на 2000 задач из датасета MATH с использованием золотого стандарта отбора выборок.
- Использование ранга LoRA r=16 и alpha=32 для всех линейных проекций.
- Повышение точности на бенчмарке MATH-500 до 53.2% по сравнению с 49.2% у базовой модели.
- Полная совместимость с библиотекой
peftдля работы с весамиbf16.
Что можно сделать
- Применить адаптер поверх базовой модели
meta-llama/Llama-3.1-8B-Instructдля генерации пошаговых математических решений. - Использовать модель в образовательных проектах для проверки и разбора сложных текстовых задач.
- Интегрировать в Telegram-ботов или ассистентов, помогающих школьникам и студентам с математикой.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B-Instruct", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "Jongbin-kr/llama3.1-8b-instruct_math_RFT-gold_k10_lora-r16a32_lr1e-4_ep3_n2000")
tok = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
Подробнее
Результаты оценки: точность на MATH-500 выросла до 53.2% (у базы — 49.2%).Датасет: 1761 пример с 100% точностью данных после фильтрации.
Обучение: 3 эпохи, lr 1e-4 косинусный, батч 32, bf16.
Лицензия: Llama 3.1 Community License.










Комментарии