tiny-aya-safety-dpo-adapter

Это PEFT-адаптер, дообученный методом DPO на базе CohereLabs/tiny-aya-earth. Автор — Eterniti; в карточке модель названа aligned_cohere_adapter и указано обучение через TRL. Это не отдельная полная LLM, а надстройка для text-generation.

▶ Ключевые особенности

• ▶ PEFT-адаптер поверх tiny-aya-earth.
• ▶ Обучение методом DPO — Direct Preference Optimization.
• ▶ Подготовлен с использованием TRL.
• ▶ В карточке указаны версии PEFT, TRL, Transformers, PyTorch и Tokenizers.
• ▶ Бенчмарки, датасет и требования к VRAM не приведены.

➕ Пример

from transformers import pipeline

question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="None", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])

В карточке в примере стоит заглушка model="None" — перед запуском её нужно заменить на корректный идентификатор.

Подробнее

🔜 Подробнее
Бенчмарков, данных о датасете и требований к VRAM в карточке нет.
Обучение: DPO; PEFT 0.21.2, TRL 1.7.1, Transformers 5.22.0, PyTorch 2.11.0+cu130.
Пример запуска в карточке содержит model="None", поэтому требует правки.