tiny-aya-sft-v2-dpo-adapter
извлечение данных в JSON без галлюцинаций
2 min readupdated
DPO-адаптер в формате LoRA (небольшая надстройка над весами нейросети), созданный для извлечения структурированной информации из текста строго по заданной JSON Schema. На вход подаются схема и документ, а на выходе модель возвращает валидный JSON-объект, подставляя null для отсутствующих в тексте полей. Адаптер построен на базе мультиязычной модели CohereLabs/tiny-aya-global (3.35B параметров) с предварительно влитым чекпоинтом monson2002/tiny-aya-sft-v2-adapter. В отличие от базового SFT-варианта, эта версия дообучена методом DPO (Direct Preference Optimization — выравнивание ответов по парам «хороший/плохой») на 1410 синтетических примерах, чтобы реже выдумывать значения и не заменять найденные данные на null.
Ключевые особенности
- Работа строго по схеме: извлекает поля в точном соответствии с переданной JSON Schema без лишних ключей, обёрток в markdown и дублирования самой схемы.
- Баланс против ошибок: датасет предпочтений собран так, чтобы одновременно наказывать модель и за придуманные факты, и за ложные пропуски (
over_null). - Двухэтапная сборка: адаптер нельзя ставить напрямую на чистую
tiny-aya-global— сначала требуется объединить базу с весамиtiny-aya-sft-v2-adapter. - Компактный размер: основа на 3.35B параметров рассчитана на запуск с 4-битным квантованием NF4 и генерацией до 1280 новых токенов.
Что можно сделать
- Парсинг документов в пайплайнах: вытаскивать реквизиты, даты и сущности из однотипных текстовых документов сразу в готовый для БД или API формат JSON.
- Заполнение анкет и карточек: автоматически переносить данные из неструктурированных описаний в строгие шаблоны с корректной обработкой пустых полей.
- Сравнение SFT и DPO на своих данных: протестировать, насколько выравнивание предпочтений снижает количество структурных ошибок по сравнению с версией SFT v2.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
BASE, SFT = "CohereLabs/tiny-aya-global", "monson2002/tiny-aya-sft-v2-adapter"
m = AutoModelForCausalLM.from_pretrained(BASE, dtype=torch.bfloat16)
m = PeftModel.from_pretrained(m, SFT).merge_and_unload()
# Далее загрузите merged_sft_v2 в 4-bit NF4 и подключите адаптер:
# model = PeftModel.from_pretrained(model, "monson2002/tiny-aya-sft-v2-dpo-adapter")
Подробнее
Обучение: AlignTune 0.1.33, DPO (beta 0.1, lr 1e-5, 1 эпоха, LoRA r=16, alpha=32), точность на парах за последние 10 шагов — 0.887.Оценка качества: бенчмарки после DPO ещё не опубликованы, прирост над SFT v2 пока не замерен.
Ограничения: обучение шло только на синтетических шаблонных текстах, на реальных документах с шумом OCR и таблицами качество может падать.
Лицензия: CC-BY-NC-4.0 (только некоммерческое использование, наследуется от базовой модели).










Comments