citation_discovery_scidoca_2025_gemma4_e4b_lora_47k_seed42
поиск цитат для научных текстов
2 min readupdated
Это LoRA (небольшая надстройка над базовой моделью), обученная оценивать релевантность цитирования для абзацев научных статей в рамках задачи SCIDOCA 2025 Task 1 (citation discovery). Адаптер работает как pointwise scorer (оценивает каждую пару «абзац — кандидат на цитирование» по отдельности) и построен на базе инструктивной модели google/gemma-4-E4B-it от пользователя yennhi0907. В отличие от базовой модели общего назначения, этот вариант дообучен на 47 166 очищенных научных абзацах с контекстом до 512 токенов. Пригодится исследователям и разработчикам систем автоматической проверки и подбора источников для академических текстов.
Ключевые особенности
- Построена на базе
google/gemma-4-E4B-itс использованием библиотекиpeft. - Параметры LoRA: ранг
r=16,alpha=32,dropout=0.05, целевые модули —q_proj,k_proj,v_proj,o_proj. - Обучена на полном очищенном датасете из 47 166 абзацев (до 3 негативных примеров на каждый абзац) с максимальной длиной 512 токенов.
- Код, промпты, разбиение данных и скрипты оценки опубликованы в репозитории автора на GitHub (пакет
citeduowise/).
Что можно сделать
- Встроить в пайплайн автоматической проверки цитирований (automatic citation checking) для оценки того, насколько источник подходит к конкретному абзацу статьи.
- Использовать для воспроизведения экспериментов или дальнейшего дообучения на задачах SCIDOCA 2025 с помощью открытого пакета
citeduowise/. - Сравнить стабильность результатов на разных сидах и объёмах данных: в релизе также доступны версии на 15k и 47k примеров с
seed=42,123и456.
Пример
В карточке модели нет готового сниппета для инференса, но автор указал, что все промпты, код запуска и оценки находятся в репозитории tathiyennhi/automatic-citation-checking (пакет citeduowise/). На вход адаптер принимает фрагмент научного текста длиной до 512 токенов и возвращает оценку соответствия цитаты в режиме pointwise scoring.
Подробнее
Обучение: 2 эпохи, LR 2e-4, эффективный batch size 16, warm-up 10%,seed=42.Выбор чекпоинта: лучший по метрике validation pair F1 (точные цифры в карточке не приведены).
Статус: дополнительный прогон (supplementary run), не вошедший в финальные результаты диссертации, сохранён для дальнейших экспериментов.










Comments