Nika_ai
крошечная языковая модель на 150M параметров
2 мин чтенияобновлено
Nika_ai — это экспериментальная языковая модель общим объёмом 150 миллионов параметров, обученная с нуля на открытом корпусе и дообученная на диалогах. Архитектура модели основана на Llama (14 слоёв, 12 голов внимания), она поддерживает контекст до 1024 токенов и работает на русском и английском языках. Модель создана как учебный и исследовательский проект, показывающий возможности обучения компактных систем на домашнем железе. Она отвечает коротко и структурировано, однако не заменяет крупные модели из-за ограничений объёма обучающих данных.
Ключевые особенности
- Обучена в два этапа на домашней видеокарте RTX 2060 SUPER с использованием исключительно CC0-датасетов.
- Поддерживает формат GGUF (версии F16 и Q4_K_M) для быстрой работы на CPU и GPU.
- Демонстрирует высокую скорость генерации: около 150 токенов в секунду на видеокарте в формате fp16.
- Честно сообщает о своих ограничениях и не выдумывает факты при нехватке знаний.
Что можно сделать
- Запустить модель локально через Ollama с помощью готового конфигурационного файла Modelfile.
- Интегрировать модель в свои скрипты на Python с использованием библиотеки transformers для коротких диалогов.
- Изучить архитектуру и результаты эксперимента по обучению компактной языковой модели с нуля.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
path = "SerjTv/Nika_ai"
tok = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, dtype=torch.float16, device_map="cuda")
messages = [{"role": "user", "content": "кто ты?"}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to("cuda")
with torch.no_grad():
out = model.generate(**ids, max_new_tokens=48, do_sample=False,
pad_token_id=tok.eos_token_id, eos_token_id=tok.eos_token_id)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))Подробнее
Параметры: 150.3M параметров, токенизатор Mistral-7B (словарь 32 000)Железо и скорость: ~10 токенов/с на CPU (Q4_K_M) и ~150 токенов/с на RTX 2060S (fp16)
Ограничения: контекст 1024 токена, не держит сложные факты о мире, не предназначена для длинных текстов
Лицензия: CC0-1.0 (общественное достояние)










Комментарии