MPIXEL

MPIXEL — семейство мультиязычных pixel language models от Team-PIXEL: модель работает с визуально отрендеренным текстом, а не с обычными токенами. Базовая версия mpixel-base содержит 86M параметров, крупная mpixel-large — 307M; обе предобучены на 16 языках с 10 системами письма.

⚙ Ключевые особенности

• 🌐 16 языков и 10 письменностей — от английского и украинского до арабского, хинди и тайского.
• 🖼 Текст рендерится в изображение и обрабатывается как пиксельная картинка.
• 🔎 Адаптивный рендеринг: по умолчанию биграммы графем, для китайского, японского и корейского — один символ на патч, для арабского и иврита — пословно.
• 🖥 Для запуска нужен пакет mpixel, модели регистрируются в transformers через Auto-классы.

💻 Пример

from transformers import AutoModel
import mpixel.models.auto_register
from mpixel.processing import MPIXELProcessor
processor = MPIXELProcessor.from_pretrained("Team-PIXEL/mpixel-base")
model = AutoModel.from_pretrained("Team-PIXEL/mpixel-base")
inputs = processor(["Hello world!", "The quick brown fox jumps over the lazy dog."])
outputs = model(**inputs)
print(outputs.last_hidden_state.shape)  # torch.Size([2, 513, 768])

Подробнее

Размеры: mpixel-base — 86M параметров, mpixel-large — 307M.
Предобучение: 16 языков, 10 систем письма.
Особенность: адаптивный рендеринг под разные письменности.
В карточке нет бенчмарков и требований к VRAM; для запуска нужен пакет mpixel.