Flan-T5-large Fact Reversal
адаптер для разворота фактов
2 мин чтенияобновлено
Эта модель представляет собой LoRA (небольшой адаптер поверх базовой нейросети), обученный переписывать утверждения в обратном направлении. На вход подаётся предложение с фактом, а на выходе получается та же мысль, где подлежащее и дополнение поменялись местами с сохранением всех сущностей и чисел — например, «Столица Франции — Париж» превращается в «Париж — столица Франции». Адаптер создан автором tropicalfrog на основе google/flan-t5-large (792 млн параметров) и решает проблему «проклятия обратимости» при поиске и извлечении знаний. Пригодится разработчикам RAG-систем, баз знаний и датасетов для дообучения языковых моделей.
Ключевые особенности
- Точная инверсия: модель меняет местами субъект и объект действия, не теряя имена собственные, термины и числовые значения.
- Компактность: обучаемые веса составляют всего 9,14 млн параметров (1,15 % от исходной
flan-t5-large), при этом адаптер можно запускать как в 4-битном квантовании, так и в полной точности (bf16/fp16). - Низкий процент копирования: на тестовой выборке модель лишь в 1,2 % случаев просто повторяет исходную фразу без перестановки (против 12,2 % у аналогично обученной
flan-t5-base). - Свободная лицензия: распространяется под Apache 2.0, что позволяет использовать её в коммерческих и исследовательских проектах.
Что можно сделать
- Расширить индекс для RAG-поиска: сгенерировать обратные формулировки для фактов из документации или вики-базы, чтобы поиск находил ответ независимо от того, как сформулирован вопрос.
- Аугментировать обучающие датасеты: автоматически создавать двунаправленные пары утверждений из синтетических или энциклопедических текстов для тренировки других LLM.
- Проверить консистентность знаний: использовать в пайплайнах валидации фактов, чтобы убедиться, что система одинаково корректно обрабатывает прямые и обратные связи между сущностями.
Пример
from peft import PeftModel
from transformers import T5ForConditionalGeneration, T5Tokenizer
tok = T5Tokenizer.from_pretrained("google/flan-t5-large")
base = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large", device_map="auto")
model = PeftModel.from_pretrained(base, "tropicalfrog/flan-t5-large-paraphrase").eval()
prompt = "Rewrite the following fact in the opposite direction: swap the subject and the object, keep all entities and numbers. Output only the rewritten sentence.\n\nFact: The capital of France is Paris."
print(tok.decode(model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=64)[0], skip_special_tokens=True))
Подробнее
Метрики на 500 отложенных фактах: копирование исходника без изменений — 1,2 % (6 из 500), зацикливаний — 0, слишком коротких ответов — 0.Обучение: 5 эпох (batch 4, lr 1e-4, AdamW) в 4-bit LoRA (r=8, alpha=16, dropout=0.05) на 3000 синтетических парах на основе предложений из Википедии (L1L2).
Требования: для работы необходима базовая модель
google/flan-t5-large, поддерживается запуск в 4-bit (NF4) через bitsandbytes на GPU или в bf16/fp16.Ограничения: модель обучена на англоязычных фактах и рассчитана на однопредложенческие утверждения.










Комментарии