denserepr-code-48M-pretrain-EN-v1
сверхлёгкая модель для поиска по коду
2 min readupdated
Компактная модель для создания текстовых и кодовых эмбеддингов (числовых векторов, отражающих смысл фрагмента), заточенная под семантический поиск по исходному коду. Она построена на базе ibm-granite/granite-embedding-small-english-r2 (архитектура ModernBERT, 48M параметров) автором f4roukb и дополнительно дообучена на 23,1 млн пар «описание — код». По сравнению с базовой версией новинка прибавила 11,4 балла на профильном бенчмарке CoIR и стала лучшей среди одновекторных моделей легче 80M параметров. Модель пригодится разработчикам RAG-систем (поиска контекста для LLM), IDE-плагинов и локальных поисковиков по репозиториям.
Ключевые особенности
- Компактный размер: всего 47,7 млн параметров, на выходе получается плотный вектор размерностью 384 (CLS pooling, косинусное сходство).
- Длинный контекст: поддерживает до 8 192 токенов, что позволяет индексировать целые функции и крупные файлы целиком.
- Работа без промптов: запросы и фрагменты кода кодируются одинаково, без специальных инструкций и префиксов.
- Основной стек языков: обучалась преимущественно на Python, Go, Java, PHP, JavaScript, Ruby и SQL с запросами на английском языке.
Что можно сделать
- Семантический поиск по кодовой базе: встроить через библиотеку
sentence-transformersв локальный поиск по проектам, чтобы находить нужные функции по описанию задачи на английском языке. - RAG для кодовых ассистентов: использовать как быстрый ретривер (поисковик релевантных фрагментов) для подачи контекста в большую языковую модель при генерации или рефакторинге кода.
- База для дальнейшего файнтюнинга: поскольку это этап претрейна без hard negatives, модель можно дообучить под собственный внутренний стек или специфический домен.
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("f4roukb/denserepr-code-48M-pretrain-EN-v1")
q = model.encode(["read a csv file into a list of dicts"])
d = model.encode(["def load(path): import csv; return list(csv.DictReader(open(path)))"])
print(model.similarity(q, d))
Подробнее
Средний результат на CoIR (MTEB, 10 задач, nDCG@10): 64.84 против 53.45 у базовой модели (CodeFeedbackMT: 81.19, StackOverflowQA: 90.97, SyntheticText2SQL: 59.69).Важный нюанс: в обучении использовались train-сплиты CoIR (с очисткой от пересечений с test-сплитами), поэтому оценки не являются zero-shot.
Ограничения: запросы на английском языке, на коротких естественных запросах (CosQA: 33.84) уступает базе (35.40); это стадия претрейна без hard negatives и дистилляции.
Лицензия: Apache-2.0.










Comments