Haidass-exp-391B — финальный чекпоинт (снимок весов) языковой модели, прошедшей обучение с нуля на 391,12 млрд токенов при фиксированном смешивании данных. Модель от автора Chillilly88 поддерживает английский и китайский языки и распространяется в нативном формате фреймворка MindSpeed (библиотека для распределённого обучения крупных моделей). В отличие от готовой релизной версии Haidass-1.5, этот вариант представляет собой исследовательский прогон с опубликованными логами loss, кривыми обучения и точными пропорциями датасетов. Релиз пригодится исследователям и инженерам, которые изучают динамику претрейна LLM (больших языковых моделей) и влияние состава данных на итоговые метрики.
Ключевые особенности
Открытая телеметрия обучения: в репозиторий выложены не только веса (746 000 шагов), но и полные логи главного узла, CSV-выборка и графики loss (финальное значение — 2.75272).
Фиксированный микс датасетов: всю дистанцию модель училась на заданной пропорции из 18 источников, где основу составляют веб-корпусы ultrafineweb_en (39%), ultrafineweb_zh (27%) и dclm (13%), дополненные Cosmopedia и finemath-4plus.
Сравнение с релизом Haidass-1.5: на бенчмарках winogrande (51.30% против 50.43%) и agieval (21.12% против 20.85%) экспериментальный чекпоинт обошёл релизную версию, хотя немного уступил ей в hellaswag и arc_easy.
Нативный формат MindSpeed: веса сохранены в файле model_optim_rng.pt без отдельного состояния распределённого оптимизатора и без конвертации под библиотеку Transformers.
Что можно сделать
Анализ сходимости LLM: использовать приложенные loss.csv и loss_original.log (74 600 точек замера каждые 10 шагов) для изучения поведения функции потерь на длинном претрейне.
Конвертация и дообучение: загрузить model_optim_rng.pt в окружении MindSpeed с подходящей конфигурацией архитектуры, перевести веса в нужный формат и использовать как базу для SFT (дообучения на инструкциях).
Воспроизведение пропорций данных: взять опубликованную таблицу весов датасетов за ориентир при сборке собственного двуязычного (en/zh) корпуса для претрейна.
Пример
Готового Python-скрипта для запуска в карточке нет — веса выложены в формате weights/mp_rank_00/model_optim_rng.pt. Для инференса или дальнейшего обучения модель необходимо загружать напрямую через фреймворк MindSpeed с указанием соответствующей конфигурации модели (готовых весов под Hugging Face Transformers в репозитории нет).
ПодробнееМетрики (0-shot, BF16, без chat template): PIQA — 66.87%, ARC-Easy — 57.62%, Winogrande — 51.30%, Arithmark — 35.50%, HellaSwag — 32.94%, ARC-Challenge — 25.17%, AGIEval — 21.12%, OpenBookQA — 18.40%. Обучение: 746 000 шагов, 391.118848B токенов, итоговый loss — 2.75272 (средний за последние 1000 шагов — 2.76056). Ограничения: в карточке не указано точное число параметров модели, а также не приложен файл конфигурации MindSpeed для запуска.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# Chillilly88/Haidass-exp-391B — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve Chillilly88/Haidass-exp-391B --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии