PolyVL-logic-lora
адаптер для логических задач и дедукции
1 мин чтенияобновлено
Этот PEFT LoRA (небольшая надстройка над базовой моделью) адаптер предназначен для улучшения формальной дедукции, пропозициональной логики и решения головоломок. Он создан на базе языковой модели OpenGVLab/InternVL3-2B и обучен на специальном наборе данных, включающем Dolly-15k, ProofWriter, FOLIO и синтетические логические задачи. Модель помогает точнее справляться с многошаговыми логическими выводами и символическими ограничениями. Она пригодится исследователям и разработчикам, работающим над логическими рассуждениями в компактных моделях.
Ключевые особенности
- Построена на базе InternVL3-2B с использованием библиотеки peft.
- Обучена на датасетах для формальной и естественной дедукции.
- Конфигурация LoRA включает ранг r=64, alpha=128 и dropout 0.05.
- Веса адаптера распространяются под лицензией Apache-2.0.
Что можно сделать
- Использовать для решения сложных логических задач и головоломок.
- Применять в задачах естественного языкового вывода и дедуктивного анализа.
- Интегрировать в пайплайны обработки текста для проверки логической состоятельности.
Пример
import torch
from transformers import AutoModel, AutoTokenizer
from peft import PeftModel
BASE_MODEL = "OpenGVLab/InternVL3-2B"
BASE_REVISION = "899155015275a9b7338c7f4677e19c784e0e5a21"
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, revision=BASE_REVISION, trust_remote_code=True)
base_model = AutoModel.from_pretrained(
BASE_MODEL,
revision=BASE_REVISION,
torch_dtype=torch.bfloat16,
trust_remote_code=True
).eval()
model = PeftModel.from_pretrained(base_model, "Pushkarrrr15151/PolyVL-logic-lora").eval()Подробнее
Бенчмарки: LogicBench, LogicNLI, Multi-LogiEvalБазовая модель: OpenGVLab/InternVL3-2B
Лицензия весов: Apache-2.0










Комментарии