AstheralTranslate
компактный переводчик с английского на 5 европейских языков
2 min readupdated
Модель от автора SEE7 предназначена для перевода текстов с английского на немецкий, французский, испанский, итальянский и португальский языки. Она построена на базе EuroLLM-1.7B (1,66 млрд параметров) и прошла дообучение методом LoRA (небольшая надстройка над базовой моделью), после чего веса были объединены в формат BF16 для прямого запуска через библиотеку transformers. По сравнению с исходной базовой моделью файнтюн показывает прирост метрики качества перевода chrF на немецком, французском, испанском и итальянском языках. Благодаря скромному размеру модель подойдёт для локального перевода коротких текстов и интеграции в лёгкие сервисы без тяжёлых видеокарт.
Ключевые особенности
- Поддерживает перевод с английского на 5 языков: немецкий, французский, испанский, итальянский и португальский.
- Построена на базе EuroLLM-1.7B с контекстным окном 4 096 токенов и готовыми объединёнными весами в BF16.
- Обучена на 10 000 параллельных примеров из корпуса OPUS-100 (по 2 000 пар на каждый целевой язык).
- В репозитории вместе с весами опубликованы исходный rank-32 LoRA-адаптер, код обучения и файлы замеров.
Что можно сделать
- Встроить в локальный скрипт или микросервис через
transformersдля автоматического перевода коротких текстов с английского. - Использовать в чат-ботах и внутренних инструментах для быстрой локализации сообщений на основные европейские языки.
- Применить опубликованный rank-32 LoRA-адаптер или код обучения как основу для дообучения под собственные пары языков.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
repo = "SEE7/AstheralTranslate"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "Translate from English to German. Return only the translation.\nEnglish: The train leaves at eight in the morning.\nGerman:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
result = model.generate(**inputs, max_new_tokens=256, do_sample=False)
Подробнее
Оценка на 25 тестовых предложениях OPUS-100 на язык (chrF): французский — 68.28 (против 64.90 у базы), испанский — 60.17 (59.33), итальянский — 54.10 (49.80), немецкий — 45.36 (41.82), португальский — 54.31 (57.20).Обучение: rank-32 LoRA (28,7 млн обучаемых параметров), 500 шагов, эффективный батч 16, максимальная длина при обучении 256 токенов на GPU NVIDIA A10G.
Лицензия базовой модели: Apache 2.0 (для корпуса OPUS-100 действуют условия источника).










Comments