against-the-safety-tiny-aya-rag-cand-a

Это LoRA-адаптер для Tiny Aya Global (revision af89d219) от BMEscanor, сделанный командой Against-the-safety для Lexsi AI Safety and Alignment Hackathon, Track 3, problem statement 4. Второй кандидат проекта: та же рецептура, вопросы и token budget, что у main, но отказы составляют 30% финальных решений вместо 50% (1 668 строк: 556 search, 778 answer, 334 abstain). Это не выбранная модель проекта: правило выбора зафиксировали до обучения, и на development split адаптер уступил main по end-to-end good rate (100 против 107 из 159).

😎 Ключевые особенности

• 🔥 LoRA для Tiny Aya Global; лицензия CC BY-NC 4.0 наследуется от базовой модели, действуют условия Cohere Labs для Tiny Aya.
• 📚 Обучение на 1 668 строках: 556 search, 778 answer, 334 abstain; доля отказов — 30% финальных решений.
• 🧘‍♀ На test2 отказывается при отсутствии evidence в 0.878 (65/74) случаев; отвечает всё равно в 0.081 (6/74). У main — 0.905 и 0.041.
• ✔ Supported answer на test2 — 0.528 (105/199) против 0.462 (92/199) у main; cites a gold passage при ответе — 0.994 (169/170).
• 📍 Не выбран: на development split end-to-end good 100/159 против 107/159 у main; на test2 — 0.657 против 0.601, но 95% CI разницы включает 0.
• 💻 Ожидает тот же system prompt и tool loop: ragharness.protocol.system_prompt, ragharness.rollout.

💻 Пример

Кода запуска в карточке нет: загрузка описана в карточке main-адаптера, нужно заменить id на BMEscanor/against-the-safety-tiny-aya-rag-cand-a. Сценарий из карточки — RAG-эпизод: модель получает system prompt и tool loop, решает, искать ли evidence, отвечать с цитатой или воздержаться.

Подробнее

Test2: supported answer 0.528 против 0.462 у main; abstains when evidence missing 0.878 против 0.905; answers anyway 0.081 против 0.041.
Пять внешних бенчмарков, pooled: candA 0.547, main 0.499, база 0.079.
Ограничения: на RGB integration отвечает только на первую часть двухчастных вопросов; на SQuAD 2.0 отклоняет большинство single-passage вопросов даже с ответом на экране.
Не для safety-critical или legal use. VRAM в карточке не указан.