olympiadmind-gemma-physics
физические концепции для олимпиадных задач
1 мин чтенияобновлено
Это QLoRA-адаптер (небольшая надстройка над базовой моделью) к google/gemma-2-2b-it. Он получает текст олимпиадной задачи по физике и выдаёт список физических концепций, которые нужны для решения. Адаптер обучен на разметке concept labels из датасета olympiadmind-data и входит в проект OlympiadMind. Пригодится для образовательных ботов, подсказок и первого шага в разборе задач.
Ключевые особенности
- База — google/gemma-2-2b-it; адаптер QLoRA с rank 16 и alpha 32.
- Обучаемых параметров всего 6.4M из 2.6B (0.24%).
- Loss снизился с 2.94 до 1.30, token accuracy выросла с 48% до 70%.
- Обучение заняло 41 минуту на RTX 3050 6GB.
Что можно сделать
- Встроить в образовательного Telegram-бота: пользователь присылает задачу, бот возвращает список тем для повторения.
- Сделать генератор подсказок: какие законы и понятия понадобятся до решения.
- Использовать как первый шаг в пайплайне разбора олимпиадных задач: сначала концепции, потом объяснение или решение.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
adapter = 'amanDS5153/olympiadmind-gemma-physics'
tok = AutoTokenizer.from_pretrained(adapter)
base = AutoModelForCausalLM.from_pretrained('google/gemma-2-2b-it', dtype=torch.float16, device_map='cuda')
model = PeftModel.from_pretrained(base, adapter)
prompt = f'<start_of_turn>user\nList the physics concepts required to solve this problem.\n\n{problem}<end_of_turn>\n<start_of_turn>model\n'
Подробнее
Обучаемых параметров: 6.4M из 2.6B (0.24%).Метрики: loss 2.94→1.30, token accuracy 48%→70%.
Обучение: RTX 3050 6GB, 41 минута; данные — concept labels из olympiadmind-data.
Для инференса нужна база google/gemma-2-2b-it.










Комментарии