Eirika-270M Hybrid
маленькая LLM, которая ищет доказательства
Экспериментальный локальный ассистент от EphAsad на базе google/gemma-3-270m-it (~268M параметров). Дообучен выбирать read-only инструменты, работать с найденным текстом и отвечать только при наличии источников — иначе воздерживаться.
👀 Ключевые особенности
- 💻 Полностью слитые BF16-веса: PEFT-адаптер для инференса не нужен.
- 📓 Инструменты: list_files, search_documents, read_document, search_web, open_webpage, abstain.
- 🧃 Гибрид: замороженный математический модуль ранжирует фрагменты по лексическому сходству (SHA-256, 256 измерений); он не встроен в слои трансформера.
- ✅ Ответы в JSON с source ID; хост проверяет схемы и цитаты.
- ❌ Интернет по умолчанию отключён; поддерживаются .txt, .md, .pdf, .docx через примерного хоста.
💻 Пример
from eirika_hybrid import FixedEvidenceCircuit
circuit = FixedEvidenceCircuit()
evidence = [
{"source_id": "notes.md#L1", "text": "Orion Harbor has capacity of 42 slots."},
{"source_id": "notes.md#L2", "text": "Lunar Exchange has duration of 9 weeks."},
]
print(circuit.rank("What is Orion Harbor's capacity?", evidence))
Подробнее
Внутренние синтетические тесты: выбор инструмента 60/60, ответы с точной цитатой 32/32, 0/28 ответов на неподдержанные запросы. На ~7 800 токенах — 2/3.Обучение: BF16 LoRA rank 16, 2 эпохи, 2 400 синтетических примеров, лимит 1 024 токена.
Это research-релиз: возможны абстенции при найденной поддержке, чувствительность к длинному контексту и лексическому ранжированию.








Комментарии