Eirika-270M Hybrid
маленькая LLM, которая ищет доказательства
1 min readupdated
Экспериментальный локальный ассистент от EphAsad на базе google/gemma-3-270m-it (~268M параметров). Дообучен выбирать read-only инструменты, работать с найденным текстом и отвечать только при наличии источников — иначе воздерживаться.
Ключевые особенности
- Полностью слитые BF16-веса: PEFT-адаптер для инференса не нужен.
- Инструменты: list_files, search_documents, read_document, search_web, open_webpage, abstain.
- Гибрид: замороженный математический модуль ранжирует фрагменты по лексическому сходству (SHA-256, 256 измерений); он не встроен в слои трансформера.
- Ответы в JSON с source ID; хост проверяет схемы и цитаты.
- Интернет по умолчанию отключён; поддерживаются .txt, .md, .pdf, .docx через примерного хоста.
Пример
from eirika_hybrid import FixedEvidenceCircuit
circuit = FixedEvidenceCircuit()
evidence = [
{"source_id": "notes.md#L1", "text": "Orion Harbor has capacity of 42 slots."},
{"source_id": "notes.md#L2", "text": "Lunar Exchange has duration of 9 weeks."},
]
print(circuit.rank("What is Orion Harbor's capacity?", evidence))
Подробнее
Внутренние синтетические тесты: выбор инструмента 60/60, ответы с точной цитатой 32/32, 0/28 ответов на неподдержанные запросы. На ~7 800 токенах — 2/3.Обучение: BF16 LoRA rank 16, 2 эпохи, 2 400 синтетических примеров, лимит 1 024 токена.
Это research-релиз: возможны абстенции при найденной поддержке, чувствительность к длинному контексту и лексическому ранжированию.










Comments