IndicTrans2 en-indic 200M CT2 int8
перевод на 22 индийских языка на CPU
1 min readupdated
Int8-конверсия модели ai4bharat/indictrans2-en-indic-dist-200M в формат CTranslate2 для пакета bhashantar. Переводит с английского на 22 индийских языка на CPU — без torch и fairseq. Лицензия MIT, исходные веса и provenance приложены.
Ключевые особенности
- CTranslate2 int8: лёгкий запуск на CPU, без Python-стека torch/fairseq.
- Parity с оригиналом: на трёх проверенных парах отклонение chrF не больше 1.0.
- 22 целевых языка: ассамский, бенгальский, хинди, тамильский, телугу и другие индийские языки.
- Готовый CLI: пакет
bhashantarставится через pip и запускает перевод одной командой.
Пример
pip install bhashantar
bhashantar translate --tgt hin_Deva "The train leaves at 6:45 from platform 3."
Подробнее
ПодробнееFLORES-200 devtest, первые 100 предложений, beam 5: chrF 65.17 (hin), 54.62 (ben), 61.59 (tam); отклонения от fp32 в пределах ±0.52.
Оценены только 3 из 22 целевых языков.
Около 0.3 с на предложение и 707 МБ пиковой памяти на ноутбучном CPU (4 потока).
У сантали в некоторых предложениях смешиваются письменности, как у оригинала.










Comments