tinynext
сверхлёгкое автодополнение текста прямо в браузере
2 min read
Компактная языковая модель от автора paperweight, созданная для мгновенных подсказок при наборе текста без отправки данных на сервер. Версия v2 представляет собой трансформер всего на 12.5M параметров (вес в сжатом виде — 13.3 МБ), который работает локально через Web Worker и onnxruntime-web. В отличие от первой версии, угадывающей по одной букве, v2 предсказывает сразу целые слова и фразы, учитывая до 1500 символов до курсора и текст после него благодаря режиму FIM (fill-in-the-middle — заполнение середины текста). Пригодится разработчикам веб-редакторов, почтовых клиентов и офлайн-приложений на базе ONNX.
Ключевые особенности
- Локальный инференс: загружается в сжатом формате
int8(13.3 МБ) и разворачивается воfloat32в браузере, выдавая подсказку за 5 мс (в Chrome на M3 Max). - Понимание контекста: использует BPE-токенизатор на 8K токенов и читает текст по обе стороны от курсора, что полезно при редактировании.
- Умный порог срабатывания: модель оценивает уверенность в прогнозе и показывает подсказку только при достижении заданного порога (по умолчанию 50%).
- Высокая эффективность для своего размера: при 12.5M параметров сопоставима по экономии нажатий клавиш с моделями Pythia на 14M–31M.
Что можно сделать
- Встроить локальное автодополнение в собственный веб-редактор заметок, Markdown-блокнот или PWA-приложение без бэкенда.
- Интегрировать быстрые подсказки для деловой переписки на английском языке в браузерный почтовый интерфейс.
- Взять готовый скрипт
v2/train.pyиз репозитория и дообучить аналогичный компактный трансформер на собственных текстовых данных.
Пример
import * as ort from "onnxruntime-web";
const session = await ort.InferenceSession.create("model_quint8.onnx", {
executionProviders: ["wasm"],
});
let state = new ort.Tensor("float32", new Float32Array(512), [1, 512]);
const input_id = new ort.Tensor("int64", BigInt64Array.of(1n), [1]);
const { logits, next_state } = await session.run({ input_id, state });
Подробнее
Экономия набора (v2, порог 50%): 3.9% на статьях Wikipedia (точность 78%), 8.8% в переписке OpenAssistant (75%), 4.0% в письмах Enron (78%).Обучение v2: 3B токенов (60% FineWeb-Edu, 30% SmolTalk, 10% письма Enron), 56 минут на одной A100, val loss 2.89.
Ограничения: только английский язык, ориентация на клавиатурные символы и уклон в сторону офисной переписки.










Comments