Haidass-exp-391B
экспериментальный претрейн на 391 млрд токенов
2 min readupdated
Haidass-exp-391B — финальный чекпоинт (снимок весов) языковой модели, прошедшей обучение с нуля на 391,12 млрд токенов при фиксированном смешивании данных. Модель от автора Chillilly88 поддерживает английский и китайский языки и распространяется в нативном формате фреймворка MindSpeed (библиотека для распределённого обучения крупных моделей). В отличие от готовой релизной версии Haidass-1.5, этот вариант представляет собой исследовательский прогон с опубликованными логами loss, кривыми обучения и точными пропорциями датасетов. Релиз пригодится исследователям и инженерам, которые изучают динамику претрейна LLM (больших языковых моделей) и влияние состава данных на итоговые метрики.
Ключевые особенности
- Открытая телеметрия обучения: в репозиторий выложены не только веса (746 000 шагов), но и полные логи главного узла, CSV-выборка и графики loss (финальное значение — 2.75272).
- Фиксированный микс датасетов: всю дистанцию модель училась на заданной пропорции из 18 источников, где основу составляют веб-корпусы
ultrafineweb_en(39%),ultrafineweb_zh(27%) иdclm(13%), дополненные Cosmopedia иfinemath-4plus. - Сравнение с релизом Haidass-1.5: на бенчмарках
winogrande(51.30% против 50.43%) иagieval(21.12% против 20.85%) экспериментальный чекпоинт обошёл релизную версию, хотя немного уступил ей вhellaswagиarc_easy. - Нативный формат MindSpeed: веса сохранены в файле
model_optim_rng.ptбез отдельного состояния распределённого оптимизатора и без конвертации под библиотеку Transformers.
Что можно сделать
- Анализ сходимости LLM: использовать приложенные
loss.csvиloss_original.log(74 600 точек замера каждые 10 шагов) для изучения поведения функции потерь на длинном претрейне. - Конвертация и дообучение: загрузить
model_optim_rng.ptв окружении MindSpeed с подходящей конфигурацией архитектуры, перевести веса в нужный формат и использовать как базу для SFT (дообучения на инструкциях). - Воспроизведение пропорций данных: взять опубликованную таблицу весов датасетов за ориентир при сборке собственного двуязычного (en/zh) корпуса для претрейна.
Пример
Готового Python-скрипта для запуска в карточке нет — веса выложены в формате weights/mp_rank_00/model_optim_rng.pt. Для инференса или дальнейшего обучения модель необходимо загружать напрямую через фреймворк MindSpeed с указанием соответствующей конфигурации модели (готовых весов под Hugging Face Transformers в репозитории нет).
Подробнее
Метрики (0-shot, BF16, без chat template): PIQA — 66.87%, ARC-Easy — 57.62%, Winogrande — 51.30%, Arithmark — 35.50%, HellaSwag — 32.94%, ARC-Challenge — 25.17%, AGIEval — 21.12%, OpenBookQA — 18.40%.Обучение: 746 000 шагов, 391.118848B токенов, итоговый loss — 2.75272 (средний за последние 1000 шагов — 2.76056).
Ограничения: в карточке не указано точное число параметров модели, а также не приложен файл конфигурации MindSpeed для запуска.










Comments