da-emb-anneal
языковая модель для норвежского языка с отжигом
2 мин чтения
Модель da-emb-anneal представляет собой базовую LLM (большую языковую модель) размером 2.12B параметров, созданную в рамках студенческого проекта Университета Осло на базе архитектуры Qwen3. Она получена из датской базовой модели путем замены токенайзера на норвежский (32k) и дополнительного обучения (отжига) на качественных текстах на норвежском языках букмол и нюнорск с затуханием коэффициента обучения до нуля. Модель является базовым чекпоинтом и не настроена для работы с инструкциями (не является chat-моделью), поэтому она предназначена для продолжения текстов и исследовательских задач. Она отлично подойдет разработчикам и исследователям, занимающимся обработкой текста на норвежском языке.
Ключевые особенности
- Базируется на архитектуре Qwen3 с 36 слоями и размером скрытого состояния 2176.
- Размерность модели составляет 2.12B параметров при длине контекста 4096 токенов.
- Прошла этап отжига (annealing) на качественных текстах на букмоле и нюнорске.
- Обучена с использованием библиотек Megatron-LM и Megatron-Bridge для совместимости с transformers 4.x.
Что можно сделать
- Использовать модель в качестве основы для дальнейшего дообучения (continual pretraining) под специфические норвежские задачи.
- Применять для задач автодополнения текста и генерации контента на норвежском языке.
- Интегрировать в исследовательские пайплайны обработки естественного языка (NLP) для скандинавских языков.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("BigFamTLLM/da-emb-anneal")
model = AutoModelForCausalLM.from_pretrained("BigFamTLLM/da-emb-anneal", dtype=torch.bfloat16)
inputs = tokenizer("Oslo er hovedstaden i", return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=30)
print(tokenizer.decode(output[0]))Подробнее
Норвежские токены: 1.00BДлина контекста: 4,096 токенов
Обучение: 8 графических процессоров GH200
Ограничения: исследовательская модель, может генерировать неверный или нежелательный текст










Комментарии