ericflo/stet-glide-pairwise-adapter
парадигма оценки образовательной ценности текстов
1 мин чтенияобновлено
Новый LoRA (небольшая надстройка над базовой моделью) ранг-8 и решающая голова (decision head), созданные на базе модели fastino/GLiDE-0.4B. Эта связка оценивает образовательную ценность и форму веб-пассажей, помогая в подборе качественных замен для прозы, парном ранжировании учебных программ и выборочном повторении данных в проекте Stet. Обучение проходило в два этапа: сначала дообучение на качестве и форме документов, а затем добавление парной целевой функции. Модель пригодится исследователям и разработчикам, занимающимся фильтрацией и оценкой качества больших текстовых корпусов и учебных материалов.
Ключевые особенности
- Ранг-8 LoRA и дополнительная решающая голова для оценки текстов.
- Обучение на данных из FineWeb-Edu, FineWeb-C, OpenWebMath и документации Python.
- Улучшение согласия на отложенных исторических парах с 76.95% до 79.05%.
- Интеграция с базовым энкодером через библиотеку transformers.AutoModel.
Что можно сделать
- Оценивать образовательную ценность и форму веб-пассажей в текстовых пайплайнах.
- Проводить парное ранжирование учебных текстов и подбирать качественные замены.
- Настраивать выборочное повторение данных для улучшения обучающих корпусов.
Пример
Загрузка базового энкодера с помощью transformers.AutoModel и подключение адаптера из папки adapter/
Подробнее
• Метрики: точность на отложенных парах выросла с 76.95% до 79.05%.• Архитектура: ранг-8 LoRA, базовая модель fastino/GLiDE-0.4B.
• Компоненты: адаптер в adapter/, голова качества в lora-head.safetensors.
• Данные обучения: FineWeb-Edu, FineWeb-C, OpenWebMath, Python docs.










Комментарии