flylcw2-2B
компактная китайская языковая модель
2 мин чтенияобновлено
Модель flylcw2-2B представляет собой текстовую LLM (большую языковую модель) с 1.88 млрд параметров, созданную на базе архитектуры и токенизатора Qwen3.5. Она обучена методом supervised instruction tuning (дообучение на инструкциях) и является продолжением проекта Seq-Monkey SFT. Модель ориентирована на китайский язык и демонстрирует уверенные результаты на внутренних бенчмарках (наборах тестов), превосходя базовую версию и некоторые сопоставимые аналоги на ряде задач. Новинка подойдет разработчикам и исследователям, которым требуется компактное решение для локального запуска.
Ключевые особенности
- Построена на архитектуре Qwen3.5 с весами в формате BF16 SafeTensors.
- Протестирована на внутреннем китайском бенчмарке, включая задачи по Python и SQLite.
- Поддерживает контекстный бюджет до 8192 токенов по умолчанию и до 16384 токенов максимум.
- Оптимизирована для запуска на одной видеокарте с потреблением около 3.79 GiB VRAM.
Что можно сделать
- Использовать модель для генерации текстов на китайском языке и ответов на вопросы.
- Встроить в локальные пайплайны или чат-боты для задач автоматизации.
- Проверять генерацию простого кода на Python и запросов к базам данных SQLite.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_dir = "./flylcw2-2B"
tokenizer = AutoTokenizer.from_pretrained(model_dir, local_files_only=True)
model = AutoModelForCausalLM.from_pretrained(
model_dir, dtype=torch.bfloat16, local_files_only=True
).cuda().eval()
messages = [{"role": "user", "content": "Return only JSON containing your favorite city and today's weather."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, add_special_tokens=False, return_tensors="pt").to(model.device)
with torch.inference_mode():
tokens = model.generate(**inputs, do_sample=False, max_new_tokens=128, use_cache=True)
print(tokenizer.decode(tokens[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))Подробнее
Бенчмарки: 110/210 по общим задачам, 20/20 по Python, 10/10 по SQLite.Железо: обучена на 8 × NVIDIA RTX 6000D, потребление VRAM при инференсе — 3.79 GiB.
Ограничения: слабые результаты в арифметике и математике (11/60), возможны повторения фраз.










Комментарии