FlameLedger-Encoder
поиск по отчётам NASA о пожарной безопасности
2 мин чтенияобновлено
Текстовый энкодер от Team Qubit (проект для NASA Space Apps Challenge 2026) на базе google/embeddinggemma-2 (740M параметров всего, из них 271M в текстовой части). Модель преобразует запросы и научные тексты на английском в векторы (эмбеддинги) для семантического поиска по техническим отчётам NASA о горении в условиях микрогравитации и пожарной безопасности космических аппаратов. В отличие от базовой мультимодальной версии, здесь оставлена только текстовая башня, дообученная на синтетических вопросах по базе NTRS. Пригодится разработчикам RAG-систем (поиска с генерацией ответа) и исследовательских ассистентов для работы с аэрокосмической документацией.
Ключевые особенности
- Поддержка Matryoshka-эмбеддингов: векторы размером 768 можно без переобучения обрезать до 512, 256 или 128 измерений для экономии памяти.
- Дообучена только текстовая часть (271M параметров) в точности FP32 — модули зрения и аудио из базовой модели удалены.
- Обязательные префиксы: запросы и документы нужно подавать строго в формате
task: search result | query: ...иtitle: ... | text: ..., иначе качество поиска падает. - Авторы рекомендуют использовать модель не в одиночку, а в гибридной связке с лексическим поиском BM25 через RRF (Reciprocal Rank Fusion).
Что можно сделать
- Встроить энкодер первым этапом поиска в RAG-пайплайн для навигации по англоязычным статьям NASA и NIST о горении материалов.
- Собрать гибридный поисковик (dense-эмбеддинги + BM25), чтобы находить отчёты одновременно по смыслу вопроса и по точным индексам сплавов или параметров.
- Сжать индекс до 256 измерений с помощью Matryoshka-усечения и L2-нормализации, сохранив почти ту же точность поиска при меньшем объёме базы.
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("rarfileexe/FlameLedger-Encoder")
model.max_seq_length = 512
q = model.encode(["task: search result | query: flame spread in low-speed flow"], normalize_embeddings=True)
d = model.encode(["title: Combustion report | text: Flame spread over thin solid fuel..."], normalize_embeddings=True)
print(q @ d.T)Подробнее
На синтетическом тесте (150 запросов, 39 отложенных статей) гибрид Fine-tuned + BM25 показал Recall@1 0.813 и MRR@10 0.891 против 0.787 и 0.873 у базовой модели с BM25.Обучение велось на 1 025 триплетах из 486 фрагментов (в основном аннотаций) на 1× NVIDIA L4 (24 ГБ) с максимальной длиной 512 токенов.
Ограничения: только английский язык, узкий домен, нет валидации на вопросах от живых экспертов; базовую модель не рекомендуют запускать в FP16 (нужны FP32 или BF16).










Комментарии