Horizon-10M-Semantic
сверхбыстрая модель эмбеддингов на 10M параметров
2 мин чтенияобновлено
Модель превращает короткие тексты на английском языке в компактные числовые векторы (эмбеддинги) размерностью 320, по которым можно мгновенно сравнивать фразы по смыслу. Она создана командой Nebulixlabs на базе каузальной языковой модели Horizon-10M-Base (10.06M параметров) и дополнительно дообучена на 10 миллионах токенов специально для семантического поиска. В отличие от крупных эмбеддинг-моделей на 100M–1B+ параметров, она сознательно жертвует максимальной точностью ради минимальной задержки и работы без видеокарты. Пригодится разработчикам, которым нужен мгновенный отклик на CPU, в браузере (WASM), мобильных приложениях или IoT-устройствах.
Ключевые особенности
- Сверхвысокая скорость инференса с задержкой в единицы миллисекунд даже на обычном процессоре (CPU).
- Компактный размер 320-мерных векторов для экономии памяти и быстрого расчёта косинусного сходства.
- Современная архитектура на 6 слоях с RoPE, RMSNorm и SwiGLU при весе всего около 10M параметров.
- Кастомный Byte-Level BPE токенизатор с небольшим словарём на 8 192 токена.
Что можно сделать
- Настроить первичный отбор кандидатов (first-stage retrieval) и быструю дедупликацию больших массивов коротких текстов или заголовков.
- Встроить локальный семантический поиск в десктопные утилиты, мобильные приложения, микроконтроллеры (Edge AI) или веб-сервисы на базе WASM без GPU.
- Использовать в качестве лёгкого бейзлайна для экспериментов с обучением представлений (representation learning) в малом масштабе.
Пример
import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel
tok = AutoTokenizer.from_pretrained("Nebulixlabs/Horizon-10M-Semantic", trust_remote_code=True)
mod = AutoModel.from_pretrained("Nebulixlabs/Horizon-10M-Semantic", trust_remote_code=True).eval()
inp = tok(["AI is transforming software.", "I love hot pizza."], padding=True, truncation=True, max_length=128, return_tensors="pt")
emb = F.normalize(mod(**inp).last_hidden_state.mean(dim=1), p=2, dim=1)
Подробнее
Оценочная точность: ~75% — подходит для быстрой фильтрации, но не для критически важных задач (медицина, финансы, право).Контекстное окно: строго 128 токенов (длинные тексты обрезаются), основной язык — английский.
Обучение: база прошла претрейн на 500M токенов (FineWeb-Edu, FineMath, SmolLM-Corpus, FineWeb-HQ) + 10M токенов семантической адаптации.










Комментарии