AfriSLM-2B Kronos
компактный офлайн-переводчик для мобильных
2 мин чтенияобновлено
Это сжатая и откалиброванная сборка переводческой модели qvac/TranslatePsy-AfriSLM-2B — Apache-2.0 файнтюна Qwen/Qwen3.5-2B. Автор подготовил два варианта для on-device перевода в Kronos и клавиатуре Translate на iOS и Android: вместо базовых 5,19 ГиБ получается 574 или 674 МиБ. Модель переводит на десятки языков, включая русский и африканские (хауса, зулу, игбо, йоруба, суахили, амхарский), и учитывает контекст диалога — род, формальность, пол адресата и многозначность. Пригодится разработчикам мобильных переводчиков и клавиатур, которым нужен offline-режим без облака.
Ключевые особенности
- Два размера:
q2c— 574 МиБ (2-bit E8Q2 MLP + 3-bit NF3 mixer + 4-bit NF4 head),nf3g128— 674 МиБ (3-bit NF3 GPTQ + 4-bit NF4 head); сжатие в 8,9× и 7,5× от 5,19 ГиБ. - Словарь урезан с 248 320 до 179 008 токенов: удалены vision/MTP-тензоры и code-only BPE-мерджи, но сохранены африканские диакритики, CJK, арабица, кириллица, деванагари и другие письменности.
- Контекстная калибровка слоёв 19–24 и
final_normпо KL-дистилляции от BF16-учителя: лучше различает род, формальность и смысл без дополнительных байтов. - Формат
K2TQW35B2поддерживает zero-copymmapна iOS и Android; сборка написана на чистом Rust. - Apache-2.0, база — qvac/TranslatePsy-AfriSLM-2B и Qwen3.5-2B.
Что можно сделать
- Встроить в мобильную клавиатуру или офлайн-переводчик через Kronos — без отправки текста в облако.
- Переводить диалоги с английского на хауса, зулу, игбо, йоруба, суахили и амхарский с учётом контекста.
- Использовать английский → русский в offline-приложении: в FLORES-200 вариант
nf3g128даёт chrF++ 49,1 и BLEU 23,8. - Выбирать
q2cдля минимального размера илиnf3g128для большей точности.
Пример
Сценарий из карточки: в переводчик передают не только фразу, но и блок [Background Information] — например, род собеседника, формальный или неформальный регистр и целевую аудиторию. Модель использует этот контекст при переводе, а не просто перекладывает слова.
Подробнее
Контекстная калибровка:context_ab — использование контекста выросло с 3/15 (20,0%) до 10/15 (66,7%), утечек 19/19 нет.361-кейсовый
context_eval: точность 34,2% без контекста → 40,0% с контекстом, no_leak 66/66.FLORES-200,
nf3g128: хауса 51,5 chrF++ / 25,7 BLEU, суахили 56,8 / 29,1, русский 49,1 / 23,8.Запуск: 574–674 МиБ, zero-copy
mmap на iOS/Android; модель только для перевода, точность зависит от языка и контекста.









Комментарии