Ripple-65B-lil-logbook
свип LoRA для рольплея
2 мин чтения
Репозиторий содержит набор LoRA-адаптеров (небольших надстроек над базовой моделью) для Ripple-65B-Base-Preview. Автор прогнал сетку rank × learning rate на одном и том же корпусе рольплей-диалогов с контекстом 512 токенов — том же, что использовался в соседнем эксперименте для Ministral-3-14B. На выходе можно выбрать адаптер по балансу между попаданием в стиль корпуса и сохранением связности, а также посмотреть, как разные гиперпараметры влияют на деградацию вне домена. Пригодится тем, кто экспериментирует с рольплей-LLM и хочет ориентир для собственных LoRA на большой базе.
Ключевые особенности
- Сетка r32 и r64 с learning rate от 1e-7 до 5e-6; rsLoRA, alpha = sqrt(512*r), цели q/k/v/o/gate/up/down.
- Оценка на трёх наборах: 256 in-domain строк, 256 forum-RP и 256 строк книжной прозы.
- Слепое жюри из 16 LLM-судей: 2 631 строка, 62 out-of-domain сцены и 151 контрольное продолжение из исходного корпуса.
- Лучший по good% — r64-lr1.4e-6: 44.8% против 32.3% у базы; collapse 0.3% против 27.4%.
- Адаптеры грузятся через PEFT на закреплённой ревизии базовой модели.
Что можно сделать
- Подключить лучший адаптер к Ripple-65B-Base-Preview для рольплей-чатов и сравнить с немодифицированной базой.
- Использовать логбук как ориентир при выборе rank и learning rate для своих LoRA на 65B-модели.
- Взять подход с blind-жюри и контрольными продолжениями для проверки качества рольплей-адаптеров.
- Собрать собственный свип на том же корпусе через PEFT, если нужен другой баланс стиля и связности.
Пример
Сценарий из карточки: взять Ripple-65B-Base-Preview, подключить адаптер r64-lr1.4e-6 через PEFT и прогнать out-of-domain сцену — например, бытовую или техническую зарисовку — с сэмплером t0.8 / min_p 0.05 / rep 1.1, затем сравнить связность, формат и голос с базой.
Подробнее
Лучший good% — 44.8% у r64-lr1.4e-6, у базы 32.3%; collapse 0.3% против 27.4%.Обучение: 400 шагов, global batch 16, 6 400 из 13 411 строк корпуса, max_length 544; 2×A100-80, FSDP, bf16-база и fp32 LoRA-мастер.
Ограничения: частичный проход по корпусу, контекст 512, оценка на рольплей-сценах; ячейка r32-lr1e-7 не экспортирована.










Комментарии