ullm-base
компактная базовая LLM на 360M параметров с нуля
2 мин чтения
Базовая языковая модель (LLM) на 360 миллионов параметров, обученная с нуля с помощью минималистичной реализации GPT под названием ullm от автора mattiasz. Она построена по классической архитектуре трансформера (decoder-only) и умеет только продолжать заданный текст на английском языке, не поддерживая диалоговый формат или выполнение инструкций из коробки. В отличие от готовых чат-ботов, этот чекпоинт создан как прозрачная основа для изучения работы языковых моделей изнутри и последующего дообучения (supervised fine-tuning). Модель пригодится разработчикам и исследователям, которым нужен лёгкий, понятный код и открытые веса для экспериментов с обучением.
Ключевые особенности
- Архитектура decoder-only на 24 слоя с современными компонентами: RMSNorm, позиционным кодированием RoPE и активацией SwiGLU MLP.
- Обучена с нуля на 7 миллиардах токенов из образовательного датасета FineWeb-Edu (
sample-10BT). - Использует токенизатор GPT-2 (
tiktoken) с добавленными спецтокенами<|user|>,<|assistant|>и<|end|>(размер словаря — 50 304). - Запускается локально на видеокартах NVIDIA (CUDA), чипах Apple Silicon (MPS) или обычном процессоре (CPU).
Что можно сделать
- Использовать модель как полигон для собственного SFT-дообучения (supervised fine-tuning), чтобы превратить её в специализированного чат-бота.
- Изучать устройство современных трансформеров на практике, связывая весовые коэффициенты в формате
safetensorsс читаемым кодом репозиторияullm. - Решать базовые задачи генерации или ответов на вопросы на английском языке через few-shot шаблоны (например, задавая несколько пар
Q: ... A: ...).
Пример
git clone [https://github.com/mAzurkovic/ullm.git](https://github.com/mAzurkovic/ullm.git) && cd ullm && uv sync
hf download mattiasz/ullm-base --local-dir checkpoints/ullm-base
uv run ullm complete "The capital of France is" --model checkpoints/ullm-base
Подробнее
Параметры: 359 842 816, контекст — 1024 токена, веса сохранены в fp32.Обучение: 13 351 шаг на 4 × NVIDIA H100 SXM с оптимизатором AdamW.
Ограничения: поддерживает только английский язык, может повторяться, уходить от темы и уверенно выдавать неверные факты; без safety-настройки.
Важно: веса загружаются только через
ullm, библиотека transformers не поддерживается. Лицензия: Apache-2.0.









Комментарии