zhen-ctranslate2
быстрый перевод с китайского на английский
2 мин чтения
Модель для машинного перевода текстов с китайского языка на английский. Она обучена с помощью фреймворка Marian NMT и сконвертирована в формат CTranslate2 (движок для ускоренного запуска моделей перевода), а в комплекте идут токенизаторы SentencePiece для обоих языков. В отличие от тяжелых универсальных LLM, такое решение рассчитано на быструю и экономичную работу, в том числе на CPU. Модель пригодится разработчикам, которым нужно встроить локальный или серверный переводчик с китайского в свои пайплайны.
Ключевые особенности
- Формат CTranslate2: оптимизирован для быстрого инференса и поддерживает запуск прямо на CPU.
- Готовая токенизация: в репозиторий включены файлы SentencePiece для исходного и целевого языков (
source.spmиtarget.spm). - Требование к сегментации: для качественного результата входной китайский текст нужно предварительно разбить на слова (например, через библиотеку
jieba) и отделить цифры от иероглифов.
Что можно сделать
- Встроить локальный оффлайн-переводчик с китайского на английский в Python-скрипты и бэкенд-сервисы без необходимости арендовать GPU.
- Использовать в пайплайнах пакетной обработки данных для перевода китайских датасетов, статей или документации с помощью
translate_batch.
Пример
import jieba, ctranslate2, sentencepiece as spm
from huggingface_hub import snapshot_download
path = snapshot_download("thiagocassimiro/zhen-ctranslate2")
translator = ctranslate2.Translator(path, device="cpu")
sp_src = spm.SentencePieceProcessor(model_file=f"{path}/source.spm")
sp_tgt = spm.SentencePieceProcessor(model_file=f"{path}/target.spm")
tokens = sp_src.encode(" ".join(jieba.cut("他昨天去北京参加了一个重要的会议。")), out_type=str)
res = translator.translate_batch([tokens], beam_size=4)
print(sp_tgt.decode(res[0].hypotheses[0]))
Подробнее
Базовая архитектура: Marian NMT, сконвертированная в CTranslate2.Ограничения: не рекомендуется использовать
compute_type="int8", так как при тестировании это заметно ухудшило качество перевода.Особенности вывода: модель возвращает токенизированный текст (с пробелами перед знаками препинания), поэтому для финального вида требуется простая детокенизация.










Комментарии