Mima 1.5 Pico 15M
ультралёгкая турецкая языковая модель для диалогов
2 мин чтенияобновлено
Mima 1.5 Pico 15M — это компактная языковая модель (LLM) объёмом 15.54 миллиона параметров, дообученная для диалогов, многоуровневых бесед и простого вызова функций (tool calling) на турецком языке. Модель построена на базе архитектуры предыдущей версии Mima 1 Pico с использованием токенизатора BPE на 8,192 слова и контекста на 512 токенов. Благодаря крошечному размеру модель можно запускать локально или прямо в браузере через WASM-версию весом всего 37.53 МБ. Новинка подойдёт разработчикам, создающим лёгкие чат-боты или встроенные ассистенты для турецкого языка с минимальными требованиями к железу.
Ключевые особенности
- Финальная чат-версия: оптимизирована для многоуровневого диалога и корректных ответов на турецком языке.
- Лёгкий вызов функций: поддерживает специальный синтаксис
@arac:для вызова внешних инструментов (погода, калькулятор и др.). - Запуск в браузере: доступна в формате FP16-ONNX для работы в веб-интерфейсе через WASM.
- Открытые данные: модель обучена на открытом датасете SFT и протестирована на специализированном микробенчмарке.
Что можно сделать
- Создать чат-бота: развернуть быстрого ассистента в Telegram-боте или веб-приложении для простых текстовых задач.
- Интегрировать tool calling: настроить автоматический вызов утилит (например, калькулятора или проверки погоды) по тегу
@arac:. - Запустить в браузере: протестировать модель на клиентской стороне без необходимости арендовать мощный сервер.
Пример
import torch
from transformers import AutoModelForCausalLM
from tokenizers import Tokenizer
from huggingface_hub import hf_hub_download
repo = "root-sys-n/Mima-1.5-Pico-15m"
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True).eval()
tok = Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json"))
prompt = "Adın ne senin?"
ids = tok.encode(prompt, add_special_tokens=False).ids
x = torch.tensor([ids], dtype=torch.long)
with torch.no_grad():
out = model.generate(x, max_new_tokens=64, do_sample=True, temperature=0.3, top_k=5, eos_token_id=3)
print(tok.decode(out[0, len(ids):].tolist()).strip())Подробнее
Бенчмарки: общая точность на Mima-TR-MicroBench составляет 37.70%, TruthfulQA-TR MC1 — 29.99%.Параметры: 15.54M embedding (18.68M суммарно), 7 слоёв, размерность скрытого слоя 384.
Рекомендуемые параметры генерации: temperature = 0.30, top_k = 5, repetition_penalty = 1.00.
Ограничения: из-за крошечного масштаба модель не справляется со сложной математикой, программированием и академическими тестами.










Комментарии