ordos-research/nekyia-virgilio
языковая модель для средневековых языков
2 мин чтенияобновлено
Nekyia: Virgilio — это небольшая языковая модель с 893.5 млн параметров, обученная с нуля на исторических текстах на латыни, итальянском, старофранцузском, среднеанглийском и староиспанском языках, созданных до 1450 года. Модель построена на архитектуре Qwen3ForCausalLM и включает базовую версию для генерации текста, а также чат-файнтюн, обученный отвечать на вопросы в диалоговом формате. Проект ориентирован на лингвистические задачи, исследование исторических текстов и работу со старинными письменными источниками.
Ключевые особенности
- Обучение на корпусе объемом около 5.6 млрд токенов без использования современных текстов или Википедии.
- Поддержка латыни, итальянского, старофранцузского, среднеанглийского и староиспанского языков.
- Архитектура Qwen3ForCausalLM с 28 слоями и контекстным окном на 2048 токенов.
- Короткий диалоговый файнтюн (chat) для генерации ответов в стиле средневековых диалогов и диспутов.
Что можно сделать
- Применить в исторических проектах или чат-ботах для генерации ответов на средневековых языках.
- Исследовать языковые особенности текстов до 1450 года с помощью токенизатора на 65 536 токенов.
- Использовать базовую модель (через параметр subfolder="base") для автодополнения исторических текстов.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "ordos-research/nekyia-virgilio"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo).eval()
prompt = '<|doc|> lang=la date=1250..1280 id=chat source=scta genre=dialogue\nA. Quid est iustitia?\nM.'
ids = tok(prompt, return_tensors="pt", add_special_tokens=False).input_ids
newline = tok.encode("\n", add_special_tokens=False)[-1]
out = model.generate(ids.repeat(4, 1), max_new_tokens=100, do_sample=True, temperature=0.8, top_p=0.95,
eos_token_id=[newline, tok.eos_token_id], pad_token_id=tok.pad_token_id)
for o in out:
print(tok.decode(o[ids.shape[1]:], skip_special_tokens=True).split("\n")[0].strip())Подробнее
Параметры: 893.5 M, слоев: 28, ширина: 1536 / 4096.Обучение: 8 графических процессоров NVIDIA H100 за 14.2 часа (27 100 шагов).
Ограничения: модель маленькая, содержание ответов может быть циркулярным или неверным, отражает средневековые взгляды источников.
Лицензия: cc-by-nc-sa-4.0.










Комментарии