Nano-1.3-Plus
крошечная двуязычная LLM с нуля для запуска на CPU
2 min readupdated
Компактная диалоговая модель на 197 миллионов параметров от команды LGTEAMai, которая работает на русском и английском языках. Она обучена полностью с нуля по архитектуре Llama (16 слоёв, контекст 4096 токенов, GQA) и весит настолько мало, что без проблем запускается на обычном ноутбуке или смартфоне без видеокарты. В отличие от версии Nano 1.3-Fast, она получила в четыре раза больший контекст, умеет отвечать в фиксированном кратком стиле, писать базовый код и рисовать простые геометрические фигуры в формате SVG. Модель позиционируется как открытая исследовательская база для экспериментов с локальным запуском и дообучением.
Ключевые особенности
- Обучена с нуля: не является файнтюном чужих весов, прошла претрейн на 12,6 млрд токенов и инструктивный тюнинг на 64 тыс. диалогов.
- Двуязычность и «гигиена» чата: отвечает на языке запроса (EN/RU), вовремя останавливает генерацию и не уходит в повторы (94,2% в тесте Hygiene).
- Готова к локальному запуску: открытая лицензия Apache 2.0, поддержка стандартного
transformersбез кастомного кода и готовый репозиторий с GGUF-версиями (от F16 до Q4_K_M) для llama.cpp, Ollama и LM Studio. - Базовый код и SVG: может сгенерировать простой скрипт уровня «Hello, World!» или валидный SVG-код примитивов вроде круга, квадрата и треугольника.
Что можно сделать
- Запустить на слабом железе: развернуть GGUF-версию в Ollama или LM Studio для тестов локального инференса на CPU или мобильных устройствах.
- Использовать как песочницу для дообучения: применить в качестве лёгкой базы для экспериментов с SFT, квантизацией или дистилляцией в учебных проектах.
- Встроить для простой болталки: использовать для коротких одношаговых диалогов и простых черновиков текста без высоких требований к точности фактов.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "LGTEAMai/Nano-1.3-Plus"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
messages = [{"role": "system", "content": "You are Nano 1.3-Plus, a compact AI assistant developed by LGTEAMai. Answer helpfully and concisely, in the language of the user."},
{"role": "user", "content": "Who created you?"}]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
print(tok.decode(model.generate(ids, max_new_tokens=200)[0, ids.shape[1]:], skip_special_tokens=True))Подробнее
Метрики: 35,5% в Nano-Chat-Bench v1.1, 79,4% в Nano-Micro-Bench v1.1 (91,3% EN и 67,5% RU), 68,3% в SciQ, 60,6% в PIQA.Обучение: SFT занял около 15 минут на одной NVIDIA H100 (1994 шага); срез знаний — до сентября 2026 года.
Ограничения: часто ошибается в фактах и арифметике, слабее отвечает на русском, не прошла safety-alignment и может зацикливаться на ответах длиннее 700–1000 токенов.










Comments