Qwen2.5-Coder-3B для RAG-инжиниринга
трёхуровневый файнтюн
1 мин чтенияобновлено
Модель gaurav0506/rag-sft-qwen2.5-coder-3b представляет собой результат супервизированного дообучения (SFT) базовой модели Qwen2.5-Coder-3B для задач Retrieval-Augmented Generation (поиска и генерации с подкреплением). Авторы исследовали эволюцию кода от базовой версии через доменный претрейн (CPT) до полноценного SFT на 3000 репозиторных примерах. Новинка полностью устраняет бесконечные циклы генерации и ошибки с нехешируемыми массивами, обеспечивая 100% синтаксическую валидность AST. Инструмент пригодится разработчикам локальных ИИ-агентов и систем поиска по документации.
Ключевые особенности
- 100% синтаксическая валидность Python AST в 10 автономных задачах поиска.
- Полное отсутствие бесконечных рекурсивных циклов генерации кода.
- Строгое соблюдение границ чат-формата ChatML и современных стандартов SDK.
- Прирост точности токенов до 74.85% по сравнению с базовой версией.
Что можно сделать
- Создавать локальные пайплайны гибридного поиска с BM25 и RRF-ранжированием.
- Писать запросы к Qdrant и векторным базам данных без галлюцинаций в namespaces.
- Реализовывать метрики оценки качества RAG вроде nDCG и MRR на Python.
Пример
Сценарий использования: запросите у модели написание модуля гибридного поиска с интеграцией Qdrant и BM25 для локального RAG-пайплайна.
Подробнее
Бенчмарки: точность токенов выросла с 50.67% до 74.85%.Железо: NVIDIA RTX 4070 Laptop (8188 MiB VRAM), локальный Ollama и Transformers bfloat16.
Обучение: 3 эпохи, 507 шагов SFT на 3000 парах инструкций.










Комментарии