FrameLLaMA-3.1-8B-Instruct-50FramesFN17
модель для анализа фреймовой семантики
1 мин чтения
Эта языковая модель обучена на базе Llama-3.1-8B-Instruct и специализируется на понимании фреймов FrameNet (определений, ролей элементов и лексических единиц). Разработка помогает исследовать семантическую структуру текста и выполнять задачи семантического анализа ролей без предварительного обучения на специфических датасетах SRL. Новинка пригодится исследователям в области NLP, лингвистам и разработчикам семантических поисковых систем.
Ключевые особенности
- Специализация на FrameNet: понимание 60 фреймов и их элементов.
- Высокая точность: превосходит базовую модель в ответах на закрытые и открытые вопросы.
- Эффективная адаптация: используется LoRA (небольшая надстройка над базовой моделью) с рангом 16.
- Научная база: разработка представлена на конференции *SEM 2025.
Что можно сделать
- Исследовать семантику: задавать вопросы о дефинициях и ролях конкретных фреймов.
- Тестировать SRL: проводить zero-shot распознавание семантических ролей в тексте.
- Интегрировать в пайплайны: использовать для семантического разбора предложений в NLP-проектах.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "sag-uniroma2/FrameLLaMA-3.1-8B-Instruct-50FramesFN17"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16, device_map="auto")
question = "Can you list some frame elements in the Supply frame?"
prompt = f"### Input: {question}\n### Response:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.decode(output[0]))Подробнее
Бенчмарки: закрытые вопросы (F1 0.93), множественный выбор (F1 0.66).Обучение: 7 эпох, learning rate 2e-4, batch size 4.
Ограничения: обучена только на 60 фреймах FrameNet, возможны неполные охваты для ролей.










Комментарии