Llama-3.2-3B-Instruct-gsm8k-aug-nl-explicit-cot
модель для решения математических задач
2 мин чтенияобновлено
Эта модель представляет собой файнтюн (дообученную версию) языковой модели Llama-3.2-3B-Instruct, оптимизированную для генерации естественной цепочки рассуждений (Chain of Thought) и поиска правильного ответа на школьные математические задачи. Она обучена на датасете zen-E/GSM8k-Aug-NL в рамках исследования скрытых рассуждений. При создании использовался метод LoRA (небольшая надстройка над базовой моделью), после чего адаптер был полностью слит с весами. Модель полезна разработчикам и исследователям, которым нужна компактная языковая модель (LLM) со стабильными математическими способностями.
Ключевые особенности
- Базируется на эффективной архитектуре Llama-3.2-3B-Instruct с размером 3.2 миллиарда параметров.
- Специализирована на пошаговом решении текстовых задач с явным выводом промежуточных шагов.
- Достигает 71.34% точности на тестовом наборе GSM8K и 75.40% на датасете SVAMP.
- Поставляется в формате стандартного чекпоинта в точной степени bf16 (bfloat16) со стандартным словарем.
Что можно сделать
- Интегрировать модель в локальные математические ассистенты или образовательные боты для проверки домашних заданий.
- Использовать для бенчмаркинга и тестирования методов логического вывода в компактных LLM.
- Применять в пайплайнах обработки текстов, где требуется подробный разбор логики решения задач.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
name = "hanseungwook/Llama-3.2-3B-Instruct-gsm8k-aug-nl-explicit-cot"
tokenizer = AutoTokenizer.from_pretrained(name, padding_side="left")
model = AutoModelForCausalLM.from_pretrained(name, torch_dtype=torch.bfloat16, device_map="auto")
question = "Janet's ducks lay 16 eggs per day..."
inputs = tokenizer([question], return_tensors="pt").to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=256)
print(tokenizer.decode(output[0, inputs["input_ids"].size(1):], skip_special_tokens=True))
Подробнее
• Точность на бенчмарках: GSM8K test — 71.34%, SVAMP — 75.40%, MultiArith — 100.00%.• Обучение: LoRA (r=128, alpha=32) на 4 GPU с использованием оптимизатора AdamW.
• Требования: совместима со стандартными библиотеками transformers и PyTorch в режиме bf16.
• Лицензия: распространяется на условиях Llama 3.2 Community License.










Комментарии