Vertex Pico v2
языковая модель размером всего 0.8M параметров
2 min readupdated
Базовая англоязычная LLM (языковая модель), обученная с нуля командой Vertex Research на 180 млн токенов. Она продолжает линейку сверхкомпактных моделей Vertex Pico, задача которых — выжать максимум качества из минимального размера. По сравнению с первой версией новинка получила более глубокую архитектуру (4 слоя), уменьшенный токенизатор на 1536 токенов и дообучение на выбор из нескольких вариантов, что подняло её показатель Intelligence Index с 4.68 до 5.84. Модель пригодится исследователям и энтузиастам для бенчмарков и экспериментов с микро-архитектурами, но для реальных диалогов или генерации связного текста она не предназначена.
Ключевые особенности
- Сверхмалый размер: всего 798 903 параметра (0.80M), при этом модель обходит или идёт вровень с аналогами в 1.5–3 раза крупнее.
- Продвинутая микро-архитектура: 4 слоя шириной 128, RoPE (поворотные позиционные эмбеддинги), гейтированное внимание и байтовый BPE-токенизатор на 1536 токенов.
- Длинный контекст для крохи: окно внимания составляет 1024 токена со скользящим окном до 2048 позиций.
- Разнообразный датасет: обучена за 1 эпоху на смеси из FineWeb-Edu, DCLM-Edu, Wikipedia, FineMath, SciQ и синтетической арифметики.
Что можно сделать
- Изучать пределы масштабирования: использовать как эталон для исследований того, как архитектура и подбор данных влияют на модели до 1M параметров.
- Проводить быстрые эксперименты: тестировать алгоритмы файнтюнинга, дистилляции или квантования на обычном CPU за считанные секунды.
- Сравнивать в бенчмарках: замерять базовую логику и арифметику на стандартных наборах вроде HellaSwag, ARC и PIQA.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("VertexResearch/Vertex-Pico-v2", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("VertexResearch/Vertex-Pico-v2", trust_remote_code=True)
ids = tok("Reading books every day can help you", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=15, do_sample=False, repetition_penalty=1.3)
print(tok.decode(out[0], skip_special_tokens=True))Подробнее
Бенчмарки (zero-shot, float32): ARC-Challenge — 23.72 (лучший результат в таблице сравнения), PIQA — 55.06, HellaSwag — 28.49, Intelligence Index — 5.84.Для запуска через
transformers требуется флаг trust_remote_code=True, так как используется кастомный код архитектуры.Ограничения: модель не проходила instruction-tuning (обучение следованию инструкциям), часто генерирует бессвязный или фактически неверный текст и подходит только для исследований.










Comments