Qwen3.5-4B-Kazakh-OptimizedTokenizer
базовая модель с оптимизированным токенизатором для казахского и русского языков
2 мин чтенияобновлено
Модель от института ISSAI представляет собой продолжение претрейна Qwen/Qwen3.5-4B-Base с добавлением 16 000 новых токенов для казахского и русского языков. За счёт расширения токенизатора казахский текст обрабатывается почти в два раза быстрее, а русский — эффективнее (на 10% меньше токенов, чем в оригинале), при этом английский остался на прежнем уровне. Это базовая модель (pretrained), которая продолжает текст, но не следует инструкциям чата — она подходит как фундамент для дальнейшего файнтюна и создания чат-ботов.
Ключевые особенности
- Ускорение казахского: казахский текст требует в 1.98 раза меньше токенов, чем у базовой Qwen3.5.
- Поддержка русского: добавлены русскоязычные токены и данные в претрейн, что улучшило метрики на русском языке.
- Рост бенчмарков: модель показывает лучшие средние результаты по казахским задачам среди линейки ISSAI и высокие баллы по русскому языку.
- Архитектура Qwen3.5: гибридная архитектура (24 слоя Gated DeltaNet + 8 слоев full-attention), размерность скрытого слоя 2,560.
Что можно сделать
- Дообучение под чат: использовать модель как основу для создания русско-казахскоязычных ассистентов с помощью файнтюна.
- Генерация и продолжение текста: применять для задач автодополнения и обработки документов на казахском и русском языках.
- Интеграция в пайплайны: встроить модель в сервисы с ограниченным контекстом для экономии токенов ввода/вывода.
Пример
Пример генерации текста с помощью библиотеки transformers:
from transformers import AutoTokenizer, AutoModelForCausalLM
name = "issai/Qwen3.5-4B-Kazakh-OptimizedTokenizer"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype="bfloat16", device_map="cuda")
ids = tok("Қазақстан Республикасының астанасы", return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=60)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Архитектура: 4.25 B параметров, 32 слоя, контекст до 32,768 токенов.Обучение: 8.4B токенов (казахский 40%, русский 20%, английский 40%), 15 × H100, DeepSpeed ZeRO-2.
Ограничения: базовая модель без настройки под диалоги и систем безопасности.
Лицензия: Apache-2.0.










Комментарии