isoglot-tiny-aya-lisa
учит модель отказывать на хауса и йоруба так же надёжно, как на английском
2 min readupdated
Модель решает узкую, но важную задачу: чтобы ассистент одинаково уверенно отказывался от вредных просьб не только на английском, но и на хауса, йоруба и игбо. За базу взят CohereLabs/tiny-aya-global на 3,35 млрд параметров; поверх него — файнтюн методом SafeTune (LisaTrainer) с LoRA (небольшая надстройка над базовой моделью), после чего веса слиты и сохранены в fp16. Датасет — 944 строки: отказы на вредные запросы и полезные ответы на безобидные, по 118 на каждый язык и тип, сгенерированы Claude Sonnet 5.5 на основе BeaverTails, OR-Bench hard-1k и Alpaca. Главный результат: разрыв в доле отказов между английским и йоруба сократился с 40% до 84%, но выросла доля лишних отказов на безопасные запросы. Автор прямо называет это исследовательским артефактом, а не готовым ассистентом.
Ключевые особенности
- База — Tiny Aya Global (3,35 млрд параметров), обучение SafeTune LisaTrainer: LoRA, rho 0.1, 20 шагов alignment и 20 fine-tune, 2 эпохи, lr 1e-4
- Отказы на вредные промпты в TukaBench: 88,2% английский, 87,7% хауса, 84,6% игбо, 84,0% йоруба (у базы — 79,5% / 65,6% / 54,6% / 39,7%)
- Обратная сторона: избыточные отказы на безобидные запросы выросли до 37% (хауса), 39% (игбо), 35% (йоруба) против 22% / 14% / 11% у базы
- Данные и код открыты: датасет NFTKING/isoglot-runs с папкой traindata, ноутбуки 05 и 06 в репозитории isoglot
- Лицензия CC BY-NC 4.0, унаследованная от базы — только некоммерческое использование
Что можно сделать
- Взять как отправную точку для safety-файнтюна моделей под низкоресурсные и смешанные языки (code-mixed)
- Прогнать свою модель и эту на TukaBench, чтобы оценить компромисс между отказами и избыточными отказами
- Воспроизвести пайплайн SafeTune по ноутбукам из репозитория и подставить свои данные
- Использовать как наглядный пример того, что выравнивание по безопасности переносится на другие языки не бесплатно
Пример
В карточке нет кода запуска, но сценарий проверки описан явно: берём вредный промпт на йоруба и безобидный запрос на том же языке, отправляем оба в модель и сравниваем ответы с базовой Tiny Aya Global. Ожидаемая картина — отказ на первом (у базы отказ срабатывал лишь в 39,7% случаев) и заметно более частый отказ на втором, где база отвечала нормально.
Подробнее
Оценка на публичных наборах TukaBench, судья — Claude Sonnet 5.5 с промптом TukaBench.Harmful compliance держится на уровне 2–4%.
Главное ограничение: рост избыточных отказов на хауса, йоруба и игбо — для продакшена модель не предназначена.
Сделано для Lexsi AI Safety and Alignment Hackathon, трек 2a (мультиязычная безопасность).










Comments