Chime 1.2
офлайн-модель на 2.2 МБ для предиктивного ввода
2 min readupdated
Компактная языковая модель от разработчика Luke Steuber, созданная для локальной Android-клавиатуры LocalType: она предсказывает следующее слово после пробела или дописывает текущее при каждом нажатии клавиши. В основе лежит архитектура CIFG-LSTM (вариант рекуррентной нейросети, который используется в классической модели подсказок Gboard) всего на 2,02 млн параметров, а квантованная в int8 версия весит 2.2 МБ. В отличие от Chime 1.1, ноябрьский релиз дообучили на 1,34 млн английских предложений из проекта Tatoeba, что повысило точность подсказок на отложенных наборах текстов. Модель пригодится разработчикам мобильных клавиатур, офлайн-приложений и встраиваемых систем, где критичны минимальный вес и работа без интернета.
Ключевые особенности
- Две задачи в одном вызове: если строка заканчивается пробелом, модель предлагает следующее слово, если нет — завершает недописанное слово.
- Инференс на чистом NumPy: для запуска не нужны PyTorch или тяжелые фреймворки, модель полностью автономна и работает офлайн.
- Компактный словарь: 16 384 токена, включая 16 054 слова, 293 эмодзи и знаки препинания.
- Минимальный след в памяти: файл
cifg_int8.binсо встроенным словарем занимает 2.2 МБ (также доступны веса float32 вmodel.safetensors).
Что можно сделать
- Встроить в кастомную Android-клавиатуру (по аналогии с LocalType) или мобильный текстовый редактор для быстрых локальных подсказок без отправки текста в облако.
- Использовать как легкий офлайн-движок автодополнения в консольных утилитах, веб-интерфейсах или браузерных приложениях на JavaScript.
Пример
python3.12 -m venv .venv && . .venv/bin/activate
python -m pip install huggingface_hub
hf download lukeslp/chime --local-dir chime && cd chime
python -m pip install -r requirements.txt
python inference.py "see you "Подробнее
Точность top-3 на отложенных выборках: 24.03% (+0.42 п.п. к Chime 1.1) на личных SMS и 25.10% (+0.60 п.п.) на форумных текстах с телефона.Скорость (по замерам идентичной по размеру Chime 1.1): 3.09 мс (p95) на Pixel 9a и 3.24 мс на Pixel 10.
Обучена с нуля на ~173 млн английских слов из 6 источников (NUS SMS, Taskmaster, OpenAssistant 2, SODA, Tatoeba) за 2 часа 6 минут на одной NVIDIA A100.
Ограничения: только английский язык; не исправляет опечатки и не генерирует связный текст; словарь фиксирован и содержит небольшое число нецензурных слов, которые нужно фильтровать на стороне приложения.










Comments