Pascal-15M-v1.0
микро-трансформер для продолжения числовых рядов
2 мин чтенияобновлено
Pascal-15M-v1.0 от команды AtomixLabs — компактная языковая модель на 17,7 млн параметров, которая не умеет писать тексты или код, зато умеет угадывать закономерности в числах и продолжать последовательности. В основе лежит стандартная архитектура LLaMA (12 слоёв), обученная примерно на 364 млн токенов числовых данных. В отличие от обычных LLM, которые склеивают цифры в случайные куски через BPE-токенизацию, здесь используется точный словарь всего из 32 токенов — по одному на каждую цифру, разделитель и знак. Модель пригодится исследователям и разработчикам как лёгкая база для дообучения под конкретные числовые задачи.
Ключевые особенности
- Словарь на 32 токена: включает только цифры 0–9, запятую, минус, точку, дробную черту (
/) и служебные токены — это избавляет от ошибок округления и артефактов токенизации. - Работа с разными типами рядов: находит правила в арифметических и геометрических прогрессиях, дробных приближениях (например, числах Фибоначчи), чередующихся потоках и осцилляторах.
- Нативная архитектура LLaMA: работает в PyTorch и Transformers без кастомных CUDA-ядер и без флага
trust_remote_code=True. - Контроль формата на выходе: благодаря микроскопическому словарю генерацию легко ограничивать через logit masking, запрещая некорректные записи вроде
/0или двойных знаков.
Что можно сделать
- Телеметрия и датчики: дообучить чекпоинт на показаниях сенсоров или логах мониторинга для прогнозирования следующих значений.
- Финансовые тики: адаптировать модель под анализ дискретных уровней цен, спредов и изменений ставок.
- Симуляция динамических систем: использовать как базу для задач кинематики, связанных колебаний или эмпирической символьной регрессии.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("AtomixLabs/Pascal-15M-v1.0", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("AtomixLabs/Pascal-15M-v1.0")
inputs = tokenizer("1, 1/2, 2/3, 3/5, 5/8,", return_tensors="pt").to(model.device)
sep_id = tokenizer.convert_tokens_to_ids(",")
out = model.generate(**inputs, max_new_tokens=24, do_sample=False, eos_token_id=sep_id)
print(tokenizer.decode(out[0], skip_special_tokens=True)) # 1,1/2,2/3,3/5,5/8,8/13
Подробнее
Параметры: 17 716 608 (hidden_size 384, 12 слоёв, 12 голов внимания, контекст 512 токенов).Важная особенность: модель не обучалась с токеном
, поэтому остановку нужно задавать вручную через запятую или max_new_tokens.Ограничения: не понимает обычный текст, чувствительна к пробелам и форматированию, а на случайном шуме склонна придумывать ложные закономерности.
Лицензия: Apache-2.0.










Комментарии