Tally v7 LoRA
извлечение данных из отчётов с привязкой к цитатам
2 min readupdated
Адаптер формата LoRA (небольшая надстройка над базовой моделью), созданный для автоматического поиска ключевых параметров в документации углеродных проектов стандарта Verra VCS. Модель на базе CohereLabs/tiny-aya-global от разработчика renhuang001 (проект для хакатона Lexsi AI Safety Hackathon) анализирует фрагменты текста и извлекает 7 целевых полей, подтверждая каждое дословной цитатой или честно отвечая «не указано». В отличие от исходной модели, адаптер точнее находит заявленные значения без галлюцинаций. Инструмент пригодится исследователям и аналитикам для первичной сортировки англоязычных лесных и климатических отчётов.
Ключевые особенности
- Извлекает 7 конкретных параметров: базовую линию, дополнительность, утечки, буфер постоянства, период кредитования, площадь и расчётное сокращение выбросов.
- Подкрепляет каждый найденный показатель точной цитатой из исходного текста или возвращает отказ от ответа при отсутствии данных.
- Показывает нулевой уровень галлюцинаций на тестовой выборке из 3 новых проектов Verra.
- Обучен методом QLoRA SFT (r=16, α=32) на базе
CohereLabs/tiny-aya-globalи легко подключается через библиотекуpeft.
Что можно сделать
- Встроить в пайплайн первичной фильтрации документов Verra (сектор лесного хозяйства и AFOLU), чтобы быстро отсеивать отчёты без нужных метрик.
- Использовать как референс для обучения собственных экстракторов документов с жёсткой проверкой фактов по цитатам на базе компактных LLM.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(base, "renhuang001/tally-v7-lora").eval()Подробнее
Бенчмарк (3 новых проекта Verra): точность извлечения 20% (4/20) против 15% у базовой Tiny Aya и Qwen3-8B (4-bit); с учётом отказов от ответа — 23.8% (5/21), галлюцинаций — 0.Обучение: 2 эпохи (224 шага) на 893 примерах, 4-bit NF4, ~6.3 часа на бесплатной Kaggle T4; eval loss снизился с 0.1226 до 0.1157.
Ограничения: только английский язык, только документы лесных/AFOLU проектов Verra; точность подходит лишь для первичной сортировки, не для полноценного аудита. Лицензия CC-BY-NC-4.0.










Comments