языковая модель с открытым кодом для автодополнения текста
schedule 2 мин чтенияобновлено
Модель имеет 124 миллиона параметров и обучена с нуля на 2.5 миллиарда токенов образовательного веб-текста (Mini FineWeb-Edu и Cosmopedia). Она предназначена для продолжения текста, а не для ответа на вопросы. Архитектура модели повторяет форму GPT-2 small, но с четырьмя изменениями: RoPE (ротационные позиционные эмбеддинги), SwiGLU (функция активации), QK-нормирование и отсутствие смещений (biases). Модель полезна для разработчиков и исследователей, изучающих создание и обучение языковых моделей с нуля на чистом PyTorch.
Ключевые особенности
Обучена на 2.5B токенов образовательных данных
Кастомная архитектура на базе GPT-2 с RoPE и SwiGLU
Контекстное окно размером 512 токенов
Веса распространяются под лицензией MIT
Что можно сделать
Запустить инференс через скрипты из репозитория на GitHub
Изучить пайплайн обучения модели на чистом PyTorch
Протестировать качество генерации текста с помощью встроенных пресетов
Пример
from mini_llm import checkpoint
from mini_llm.inference import PRESETS, generate_stream
from mini_llm.tokenizer import EOT, get_tokenizer
model, info, device = checkpoint.load("mini-llm-base")
enc = get_tokenizer()
prompt = [EOT] + enc.encode_ordinary("The water cycle is the process by which")
s = dict(PRESETS["balanced"])
tokens = [ev["id"] for ev in generate_stream(model, prompt, device, 100, s.pop("temperature"), stop_token=EOT, sampling=s)]
print(enc.decode(tokens))
ПодробнееБенчмарки: HellaSwag 32.3, LAMBADA 20.3, ARC-Easy 46.8 Требования к железу: обучение проводилось на Colab L4 и A100 Ограничения: модель небольшая, часто выдает неверные факты Детали обучения: 2 этапа, всего 183 100 шагов
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# aramkris/mini-llm-base — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve aramkris/mini-llm-base --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии