EvidenceLens-tiny-aya-global-lora
извлечение фактов и цитат из научных статей
2 min readupdated
QLoRA-адаптер (небольшая надстройка для дообучения в 4-битном режиме) на базе компактной языковой модели CohereLabs/tiny-aya-global (3.35 млрд параметров), созданный для Lexsi Hackathon 2026. Модель превращает разделы научных PDF-статей в структурированный JSON-профиль по шести полям: исследовательский вопрос, цель, методология, данные/материалы, ключевые выводы и ограничения. В отличие от базовой модели, которая склонна додумывать отсутствующие сведения, адаптер обучен честно возвращать статус отказа (not_reported, not_applicable) и подкреплять каждый ответ дословными цитатами с номером страницы. Подойдёт исследователям и разработчикам систем анализа литературы, которым важна проверяемость ответов.
Ключевые особенности
- Дословные доказательства: для каждого подтверждённого ответа модель извлекает точную цитату из текста, название раздела и номер страницы.
- Защита от галлюцинаций: на тестовом наборе доля ложных подтверждений (false support) снизилась с 16.7% у базовой модели до 0%.
- Низкие требования к железу: адаптер обучался и запускается в 4-битном квантовании (NF4) — достаточно видеокарты уровня RTX 4060 с 8 ГБ VRAM.
- Готовый пайплайн: в репозитории автора на GitHub доступны скрипты разбиения текста и локальное приложение на Gradio для обработки PDF.
Что можно сделать
- Автоматизировать первичный обзор литературы: прогонять англоязычные научные PDF через локальный интерфейс Gradio, быстро получая выжимку по методам и выводам с проверкой по цитатам.
- Встроить в RAG- или исследовательский пайплайн: использовать вывод в строгом JSON-формате для наполнения баз знаний по научным публикациям с автоматической верификацией цитат по исходному тексту.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
base_id = "CohereLabs/tiny-aya-global"
tok = AutoTokenizer.from_pretrained(base_id)
base = AutoModelForCausalLM.from_pretrained(base_id, device_map="auto", dtype=torch.float16,
quantization_config=BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16))
model = PeftModel.from_pretrained(base, "durmustalhaa/EvidenceLens-tiny-aya-global-lora").eval()
Подробнее
Метрики (тест, 30 полей): детерминированная проверка цитат — 86.7% (против 63.3% у базы), точность отказов — 60% (против 0%), валидность JSON — 96.7%.Железо: обучение заняло 157.7 мин на одной RTX 4060 Laptop (8 ГБ VRAM); базовую модель нужно загружать отдельно после принятия условий Cohere Labs.
Ограничения: только английский язык и текстовые PDF (без OCR, таблиц и графиков); контекст ограничен 6000 символами на поле; склонна к излишним отказам и не предсказывает статус
ambiguous.Лицензия: CC-BY-NC-4.0 + Cohere Labs Acceptable Use Policy (только некоммерческое использование).










Comments