gemma-3-1b-translate-sft-best
переводчик с английского на африканские языки
2 мин чтения
Эта модель представляет собой специализированную версию Google Gemma 3 с примерно миллиардом параметров, дообученную методами SFT (контролируемое обучение) для перевода текста с английского языка на 125 африканских языков. Она принимает на вход английское предложение или короткий абзац и выдает перевод с соответствующим языковым тегом на выходе. Модель служит отличной отправной точкой для дальнейшего дообучения или настройки генерации. Для достижения стабильных результатов рекомендуется использовать штраф за частоту токенов (frequency_penalty).
Ключевые особенности
- Поддержка 125 языковых тегов для африканских диалектов и языков
- Построена на базе компактной и эффективной архитектуры Google Gemma 3-1B-it
- Предназначена для перевода отдельных предложений или небольших абзацев
- Служит базовым чекпоинтом для дальнейшего обучения с подкреплением (RL)
Что можно сделать
- Встроить модель в чат-бот для перевода текстов на редкие языки
- Использовать чекпоинт как основу для собственных языковых экспериментов и RL-дообучения
- Переводить короткие документы, предварительно разбив их на отдельные предложения
Пример
import re, torch
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "BeardedMonster/gemma-3-1b-translate-sft-best"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16).cuda().eval()
def translate(text, language, max_new_tokens=256):
msgs = [{"role": "user", "content": f"Translate the text to {language}: {text}"}]
enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True).to("cuda")
with torch.no_grad():
out = model.generate(**enc, max_new_tokens=max_new_tokens, do_sample=False)
raw = tok.decode(out[0, enc["input_ids"].shape[1]:], skip_special_tokens=True)
return re.sub(r"^<[a-z]{3}>\s*", "", raw.strip())
print(translate("Good morning, how are you?", "Yoruba"))Подробнее
Метрика chrF++: 25.66 (в жадном режиме) и 29.11 (с frequency_penalty=0.1)Объем модели: около 1.0B параметров (требуется поддержка bfloat16)
Ограничения: для стабильной генерации без зацикливания рекомендуется frequency_penalty=0.1 в vLLM










Комментарии