RAG-CPT-Qwen2.5-Coder-3B
дообученная модель для RAG-архитектур
2 мин чтенияобновлено
Эта модель представляет собой результат продолженного предобучения (Continued Pre-Training) базовой модели Qwen2.5-Coder-3B, адаптированный под задачи создания и работы с производственными архитектурами поиска и генерации с дополненной информацией — RAG (Retrieval-Augmented Generation). Она обучена на специальном корпусе из 8,19 миллиона токенов, собранном из популярных открытых фреймворков, таких как LangChain, LlamaIndex, Qdrant и других. Модель лучше понимает внутреннее устройство и код RAG-систем, помогая инженерам и разработчикам эффективнее проектировать и внедрять поисковые пайплайны. На выходе получается готовая языковая модель в форматах bfloat16 и GGUF для локального развертывания.
Ключевые особенности
- Базовая архитектура Qwen2.5-Coder-3B с размером 3,09 миллиарда параметров.
- Обучение на корпусе объемом 8,19 млн токенов из ведущих open-source фреймворков для RAG.
- Оптимизация методом 4-bit QLoRA с использованием paged AdamW 8-bit.
- Снижение функции потерь (cross-entropy loss) с 1,54 до 1,09 за 500 шагов обучения.
Что можно сделать
- Применить модель в качестве улучшенного фундамента для генерации кода и ответов в локальных RAG-системах.
- Использовать для анализа документов и интеграции с векторными базами данных вроде Qdrant или Chroma.
- Развернуть локально на потребительском железе благодаря доступным GGUF-бинарникам для edge-устройств.
Пример
Модель используется как базовый слой для создания ассистентов по разработке RAG-приложений. Вы можете подключить её через локальные серверы (например, llama.cpp) для генерации кода пайплайнов индексации и поиска.
Подробнее
Метрики: cross-entropy loss снизился с 1.54 до 1.09Оптимизация: 4-bit QLoRA, 500 шагов, paged AdamW 8-bit
Форматы: Merged bfloat16 и высокоточный GGUF для edge-серверов
Размер корпуса: 8.19M токенов (LlamaIndex, LangChain, Haystack, Qdrant и др.)










Комментарии