RusNanoLM-800M
ультракомпактная языковая модель с сильным русским языком
2 мин чтения
RusNanoLM-800M — это открытая двуязычная языковая модель на 800 млн параметров, созданная для работы с русским и английским языками. Она базируется на гибридной архитектуре Qwen3.5 с линейным вниманием (Gated Delta Rule) и показывает выдающиеся результаты на бенчмарке MERA (комплексе тестов для оценки языковых моделей). Модель превосходит базовую версию и способна обходить гораздо более тяжёлые языковые модели в задачах на арифметические рассуждения. Она отлично подойдёт разработчикам, исследователям и тем, кому нужна быстрая русскоязычная модель для локального запуска на скромном железе.
Ключевые особенности
- Гибридная архитектура: использует линейное внимание (Gated Delta Rule) с 24 слоями, где каждый четвёртый слой работает с полным вниманием.
- Лидерство в рассуждениях: на бенчмарке RuMultiAR компактная модель обходит GigaChat-2-10B и Qwen2.5-7B.
- Двуязычность: полноценная поддержка русского и английского языков прямо «из коробки».
- Низкие системные требования: занимает около 1.7 ГБ видеопамяти в формате BF16 и запускается на скромных GPU.
Что можно сделать
- Локальный запуск: развернуть модель локально через Python-библиотеку transformers для тестирования текстовых задач.
- Интеграция с Ollama: запустить модель напрямую в экосистеме Ollama с помощью готовых F16 GGUF-файлов.
- Тестирование рассуждений: проверить возможности модели на задачах с логическими и арифметическими условиями на русском языке.
- Интеграция в пайплайны: использовать модель в небольших сервисах или ботах, где критически важна скорость ответа и минимальное потребление ресурсов.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
MODEL_ID = "itismax0/RusNanoLM-800M"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForImageTextToText.from_pretrained(
MODEL_ID,
torch_dtype=torch.bfloat16,
device_map="auto"
)
model.eval()
messages = [
{"role": "user", "content": "Реши задачу: в корзине 5 яблок и 7 груш. Сколько всего фруктов?"}
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=512,
do_sample=False,
pad_token_id=tokenizer.eos_token_id
)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)Подробнее
Параметры: 800 млн (0.8B)Результаты MERA: SimpleAR — 83.2%, RuMultiAR — 33.5% (против 8.1% у базовой версии)
Требования к железу: около 1.7 ГБ VRAM (BF16), запуск на видеокартах с 4 ГБ VRAM
Лицензия: Apache 2.0










Комментарии