Apollo Laikan 100M

Apollo Laikan 100M Experimental — неавторегрессионная модель на базе двунаправленного Transformer-энкодера. В карточке заявлена исследовательская цель — комбинаторная оптимизация, в частности CVRP; это не языковая LLM и не генератор текста.

🔥 Ключевые особенности

• 🦾 110,5 млн параметров: 12 слоёв, hidden size 768, 12 голов внимания, FFN 3072.
• 👁 Три выходные головы за один forward pass: Choice (10 логитов), Score (1 скаляр), Noul (2 логита).
• 📉 Вес в Safetensors FP32, около 442,1 МБ; лицензия Apache 2.0.
• ✅ Эмбеддинги 32 000 × 768; вход — integer IDs, а не произвольный текст.
• 🤝 В репозитории нет tokenizer, config.json, позиционных эмбеддингов, энкодера входного состояния и кода препроцессинга.

👁 Пример

from safetensors.torch import load_file

state_dict = load_file('model.safetensors', device='cpu')
# нужен свой nn.Module, совпадающий с архитектурой из карточки
model.load_state_dict(state_dict, strict=True)
model.eval()

Подробнее

Бенчмарков и метрик CVRP в карточке нет — заявлена только исследовательская цель.
Выходы — сырые скоры: маппинг Choice/Noul на действия и классы не опубликован.
Для осмысленного инференса нужен точный training-time энкодер; случайные ID или чужой tokenizer не подойдут.
Не предназначена для чата, генерации текста и production-маршрутизации без независимой проверки.