gemma-3-385m-science-translate-best
переводчик научных текстов на 125 африканских языков
2 мин чтенияобновлено
Компактная модель от BeardedMonster на базе Gemma 3 (385M параметров, 39 слоёв), созданная для перевода текстов с английского на 125 африканских языков. В отличие от базовой общей версии gemma-3-385m-translate-best, эта сборка прошла дополнительное дообучение SFT (supervised fine-tuning — обучение с учителем) и RL (reinforcement learning — обучение с подкреплением) на датасете научных аннотаций AfriScience-MT. Модель работает строго по предложениям и пригодится исследователям, локализаторам научно-популярного контента и разработчикам систем машинного перевода для малоресурсных языков.
Ключевые особенности
- Поддерживает 125 африканских языков с помощью специальных однотокенных тегов в начале ответа.
- Дообучена на научной лексике: прирост качества по метрике chrF составил около +1.7 балла по сравнению с общей версией.
- Компактный размер 385M параметров позволяет запускать инференс в формате
bfloat16черезtransformersилиvLLMс минимальными затратами ресурсов. - Поддерживает батчевую обработку в
vLLMдля одновременного перевода одного предложения сразу на несколько целевых языков.
Что можно сделать
- Переводить научно-популярные статьи и аннотации исследований с английского на зулу, хауса, сепеди, луганда, йоруба и амхарский языки.
- Встроить в сервис локализации образовательного контента для быстрого попредложного перевода на 125 языков Африки.
- Использовать как лёгкий бейзлайн в экспериментах с RL-дообучением (обучением с подкреплением) для малоресурсных языковых пар.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
import re, torch
repo = "BeardedMonster/gemma-3-385m-science-translate-best"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16).to("cuda").eval()
msgs = [{"role": "user", "content": "Translate the text to Hausa: The enzyme converts glucose into pyruvate."}]
enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True).to("cuda")
out = model.generate(**enc, max_new_tokens=256, do_sample=False, eos_token_id=[tok.eos_token_id, 106])
Подробнее
На тесте AfriScience-MT средний показатель macro chrF по 6 целевым научным языкам составил 47.10 (лидеры: Zulu — 61.97, Hausa — 56.74, Sepedi — 54.69; ниже всего: Amharic — 30.69).Научное дообучение проводилось и оценивалось только на 6 языках (Amharic, Hausa, Luganda, Sepedi, Yoruba, Zulu); остальные 119 языков сохранили качество общей базовой модели.
Ограничения: модель переводит только с английского языка и только по предложениям (перевод целых документов за один промпт приводит к зацикливанию); в промпте обязательно указывать полное название языка и два пробела после двоеточия.










Комментарии