К содержимому
Другое

Ripple-65B-lil-logbook

свип LoRA для рольплея

2 мин чтения

Репозиторий содержит набор LoRA-адаптеров (небольших надстроек над базовой моделью) для Ripple-65B-Base-Preview. Автор прогнал сетку rank × learning rate на одном и том же корпусе рольплей-диалогов с контекстом 512 токенов — том же, что использовался в соседнем эксперименте для Ministral-3-14B. На выходе можно выбрать адаптер по балансу между попаданием в стиль корпуса и сохранением связности, а также посмотреть, как разные гиперпараметры влияют на деградацию вне домена. Пригодится тем, кто экспериментирует с рольплей-LLM и хочет ориентир для собственных LoRA на большой базе.

Ключевые особенности

  • Сетка r32 и r64 с learning rate от 1e-7 до 5e-6; rsLoRA, alpha = sqrt(512*r), цели q/k/v/o/gate/up/down.
  • Оценка на трёх наборах: 256 in-domain строк, 256 forum-RP и 256 строк книжной прозы.
  • Слепое жюри из 16 LLM-судей: 2 631 строка, 62 out-of-domain сцены и 151 контрольное продолжение из исходного корпуса.
  • Лучший по good% — r64-lr1.4e-6: 44.8% против 32.3% у базы; collapse 0.3% против 27.4%.
  • Адаптеры грузятся через PEFT на закреплённой ревизии базовой модели.

Что можно сделать

  • Подключить лучший адаптер к Ripple-65B-Base-Preview для рольплей-чатов и сравнить с немодифицированной базой.
  • Использовать логбук как ориентир при выборе rank и learning rate для своих LoRA на 65B-модели.
  • Взять подход с blind-жюри и контрольными продолжениями для проверки качества рольплей-адаптеров.
  • Собрать собственный свип на том же корпусе через PEFT, если нужен другой баланс стиля и связности.

Пример

Сценарий из карточки: взять Ripple-65B-Base-Preview, подключить адаптер r64-lr1.4e-6 через PEFT и прогнать out-of-domain сцену — например, бытовую или техническую зарисовку — с сэмплером t0.8 / min_p 0.05 / rep 1.1, затем сравнить связность, формат и голос с базой.

ПодробнееЛучший good% — 44.8% у r64-lr1.4e-6, у базы 32.3%; collapse 0.3% против 27.4%.
Обучение: 400 шагов, global batch 16, 6 400 из 13 411 строк корпуса, max_length 544; 2×A100-80, FSDP, bf16-база и fp32 LoRA-мастер.
Ограничения: частичный проход по корпусу, контекст 512, оценка на рольплей-сценах; ячейка r32-lr1e-7 не экспортирована.
Обсудить Telegram 0

Запустится ли?

Не запустится

Не хватает памяти даже для 4-bit. Ниже — где арендовать подходящую видеокарту.

  • GGUF Q8_0рекомендуемвеса 128 GB · готовые файлы142 GB
  • GGUF Q4_K_Mвеса 72 GB · готовые файлы80 GB
  • GGUF Q3_K_Mвеса 58 GB · готовые файлы64 GB

Совет: берите 8-bit.GGUF Q8_0 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Ни один инстанс не вместит модель целиком — нужна выгрузка в ОЗУ или кластер.

Своя видеокарта: В домашние видеокарты не поместится — выгоднее арендовать.

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # thestarfarer/Ripple-65B-lil-logbook
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download thestarfarer/Ripple-65B-lil-logbook --local-dir ~/models/Ripple-65B-lil-logbook
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Ripple-65B-lil-logbook
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

ricursiveAI/Ripple-65B-Base-Preview

Новые посты про версии Ripple-65B-Base-Preview — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 1Все на Hugging Face
Дообучения 1Все на Hugging Face

О модели

thestarfarer/Ripple-65B-lil-logbook
Автор
thestarfarer
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Другое

Ripple-VLM

Ripple-VLM