Llama-3.2-3B-HYROX
LoRA-адаптер для комментариев спортивных результатов
2 мин чтенияобновлено
Этот компактный LoRA (небольшая надстройка над базовой моделью) превращает языковую модель Llama-3.2-3B в узкоспециализированного аналитика соревнований по системе HYROX. На основе переданной таблицы с результатами забегов, отрезков и позиций в возрастных группах модель генерирует короткий связный текст во втором лице. Она подсвечивает сильные и слабые стороны атлета, объясняет, где было выиграно или потеряно время, и опирается исключительно на факты из переданного промпта. Решение обучено методом Supervised Fine-Tuning на базе 1644 качественных текстов и демонстрирует крайне низкий процент ошибок.
Ключевые особенности
- Высокая точность: процент ошибочных утверждений (галлюцинаций) снижен до 1.4% против 24.1% у нетренированной базовой модели.
- Эффективность архитектуры: используется LoRA с рангом 16 на все линейные слои, затрагивающая всего 0.75% весов (24.3М параметров, размер файла 97 МБ).
- Строгий формат: модель работает только с таблицами результатов определенной структуры и выдерживает объем текста до 110 слов.
Что можно сделать
- Генерация репортажей: автоматизировать создание аналитических сводок и персональных комментариев по итогам прохождения соревнований HYROX.
- Спортивный анализ: быстро обрабатывать табличные сплит-таймы и получать выжимку главных закономерностей выступления атлета.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
BASE = "meta-llama/Llama-3.2-3B-Instruct"
ADAPTER = "vladmateei/Llama-3.2-3B-HYROX-Commentary-LoRA"
tokenizer = AutoTokenizer.from_pretrained(BASE)
base = AutoModelForCausalLM.from_pretrained(BASE, dtype=torch.bfloat16).to("cuda")
model = PeftModel.from_pretrained(base, ADAPTER).eval()Подробнее
• Бенчмарки: уровень галлюцинаций на held-out тестах составил 1.4%, метрика аналитической ценности Insight — 0.82.• Системные требования: требуется доступ к базовой модели Llama-3.2-3B-Instruct и около 7 ГБ VRAM (bfloat16).
• Стек: peft, transformers, torch.
• Ограничения: модель не является универсальным чат-ботом, не дает тренировочных советов и работает строго с фиксированным форматом входных таблиц.










Комментарии