tiny-aya-safety-dpo-adapter
DPO-адаптер для tiny-aya-earth
1 min read
Это PEFT-адаптер, дообученный методом DPO на базе CohereLabs/tiny-aya-earth. Автор — Eterniti; в карточке модель названа aligned_cohere_adapter и указано обучение через TRL. Это не отдельная полная LLM, а надстройка для text-generation.
Ключевые особенности
- PEFT-адаптер поверх
tiny-aya-earth. - Обучение методом DPO — Direct Preference Optimization.
- Подготовлен с использованием TRL.
- В карточке указаны версии PEFT, TRL, Transformers, PyTorch и Tokenizers.
- Бенчмарки, датасет и требования к VRAM не приведены.
Пример
from transformers import pipeline
question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="None", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])
В карточке в примере стоит заглушка model="None" — перед запуском её нужно заменить на корректный идентификатор.
Подробнее
ПодробнееБенчмарков, данных о датасете и требований к VRAM в карточке нет.
Обучение: DPO; PEFT 0.21.2, TRL 1.7.1, Transformers 5.22.0, PyTorch 2.11.0+cu130.
Пример запуска в карточке содержит
model="None", поэтому требует правки.









Comments