Artha-1.1B v2
компактный переводчик промптов в математическую нотацию
2 мин чтенияобновлено
Модель представляет собой LoRA-адаптер (небольшая надстройка над базовой моделью) для TinyLlama-1.1B-Chat-v1.0, которая переводит обычные текстовые инструкции на английском языке в компактную нотацию Artha. Версия v2 расширяет токенизатор (словарь модели) 67 специальными символами и атомами, благодаря чему промпты занимают на 35.4% меньше токенов по сравнению с английским языком. Разработка полезна для оптимизации работы с компактными языковыми моделями и экономии контекста.
Ключевые особенности
- Новый токенизатор: добавлены 67 часто используемых символов Artha как целые токены.
- Экономия токенов: снижение расхода токенов на 35.4% по сравнению с английским текстом.
- Точность: 100% совпадение с эталонными результатами на тестовом наборе шаблонов.
- Базовая архитектура: построена на базе TinyLlama-1.1B с использованием LoRA (r=16, alpha=32).
Что можно сделать
- Сжатие промптов: использовать модель для конвертации длинных инструкций в компактный формат Artha перед отправкой в пайплайн.
- Интеграция в пайплайны: встроить модель в локальные воркфлоу для уменьшения длины контекста в задачах обработки текста.
- Эксперименты с нотациями: исследовать возможности математической нотации для управления генерацией текста.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch
REPO = "siddsukh/artha-1.1b-v2"
tok = AutoTokenizer.from_pretrained(REPO)
base = AutoModelForCausalLM.from_pretrained(
"TinyLlama/TinyLlama-1.1B-Chat-v1.0", dtype=torch.bfloat16, device_map="auto"
)
base.resize_token_embeddings(len(tok), mean_resizing=False)
model = PeftModel.from_pretrained(base, REPO).eval()
print("Модель успешно загружена")
Подробнее
Точность (Exact match): 100% на 1,000 тестовых парЭкономия токенов: 35.4% по сравнению с обычным английским текстом
Параметры обучения: LoRA r=16, alpha=32, 2 эпохи, learning rate 2e-4
Ограничения: обучение проводилось на 9 шаблонных типах задач, токенизатор специфичен для данной модели










Комментарии