Caboose-SFT-Ripple-65B-T5-v1-BF16

Файнтюн на базе ricursiveAI/Ripple-65B-Preview от автора schonsense. Это low-LR полнопараметрическая донастройка lm_head и тензоров, которые его питают; 64,78 млрд параметров в BF16. Карточка описывает задачу как human lexical normalization и обучение на человеческих текстах плюс ролевых диалогах.

🔥 Ключевые особенности

• 🦾 Полнопараметрический файнтюн lm_head и подающих его тензоров при низком LR.
• 📉 Пропорция supervised-токенов: 95% человеческое письмо, 5% ролевое мышление в персонаже.
• 💯 Корпус: 40M+ attended-токенов и 22M+ supervised; 5 traversals.
• ✨ По карточке, «LLM-измы» заметно снижены; грубые бенчмарки остались на уровне базы.
• 😺 В карточке есть прогрессия ответов Base → T1…T5 на одной сцене.

😎 Пример

Промпт: после похорон отца герои разбирают мастерскую и чинят кухонный стул; не хватает шурупа. В ответе модели Nell держит скобу коленом, шутит про табакерку и просит не выглядеть слишком довольным. В примерах T1–T5 диалог остаётся естественным; карточка приводит их как прогрессию от Base.

Подробнее

Бенчмарки: грубая оценка не изменилась относительно базы.
Обучение: 5 проходов, 40M+ attended-токенов, 22M+ supervised.
Ограничения: точных метрик в карточке пока нет; автор обещает метрики позже.
Формат: BF16, 64,78 млрд параметров.