CurateLaw-India Curated LoRA
адаптер для трудовых договоров
2 min readupdated
Экспериментальный LoRA-адаптер (небольшая надстройка над базовой моделью) от автора Jibank, обученный на базе языковой модели CohereLabs/tiny-aya-global для составления шаблонов трудовых договоров по индийскому законодательству. Проект создан в рамках исследовательского челленджа Lexsi Labs Track 1 для изучения того, как тщательная очистка синтетических обучающих данных влияет на качество доменной адаптации по сравнению с сырыми сгенерированными примерами. В отличие от базовой модели, этот вариант дообучен методом SFT (Supervised Fine-Tuning — обучение с учителем на готовых примерах) на отфильтрованных юридических текстах. Адаптер пригодится исследователям NLP и разработчикам, которые экспериментируют с обучением компактных моделей в узких предметных областях с дефицитом реальных данных.
Ключевые особенности
- Многоступенчатая фильтрация датасета: синтетические примеры для обучения прошли структурную валидацию, проверку согласованности условий и отсев дубликатов.
- Параметрически эффективное дообучение: модель распространяется как лёгкий адаптер для библиотеки
PEFTи подключается поверх оригинальнойCohereLabs/tiny-aya-global. - Исследовательская конфигурация: представляет собой вариант «Model B — Curated» для прямого сравнения с базовой моделью и версией на неочищенной синтетике.
- Полный набор артефактов: в репозитории сохранены веса адаптера, конфигурация, файлы токенизатора и метаданные происхождения.
Что можно сделать
- Сравнить влияние очистки данных: использовать адаптер как контрольный образец при тестировании пайплайнов генерации и фильтрации синтетики для узких доменов.
- Генерировать черновики договоров: протестировать составление пунктов трудовых соглашений по индийскому праву в исследовательских прототипах.
- Оценить галлюцинации в юридических текстах: проверить соблюдение инструкций, полноту формулировок и наличие неподтверждённых правовых утверждений на компактной базе.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = "CohereLabs/tiny-aya-global"
tokenizer = AutoTokenizer.from_pretrained(base_id)
base_model = AutoModelForCausalLM.from_pretrained(base_id)
model = PeftModel.from_pretrained(base_model, "Jibank/curatelaw-india-curated-lora")
Подробнее
Обучение: SFT с использованием PEFT 0.21.2, TRL 1.7.1, Transformers 5.22.1 и PyTorch 2.13.0.Оценка: в карточке описаны критерии проверки (полнота, согласованность условий, отсутствие ложных утверждений), но числовые метрики не опубликованы.
Ограничения: исследовательский артефакт, не предназначенный для реальной юридической практики без проверки специалистом; требует доступа к базовой модели CohereLabs/tiny-aya-global и соблюдения её лицензии.










Comments