WeightSeek-Format22-0.8B
точечная LLM для работы с JSON
2 мин чтенияобновлено
WeightSeek-Format22-0.8B — это автономная текстовая модель (LLM, языковая модель) на 0.75 миллиарда параметров в формате FP16 (половинная точность вычислений), созданная для экспериментов с точным следованием инструкциям. Ее главное отличие от базовой версии — способность стабильно выдавать корректный JSON-объект, который парсер может прочитать без ошибок. Модель построена на базе наработок Rikiya Takehi и коллег для Qwen3.5-0.8B с применением правок весов. Она пригодится разработчикам, которым нужна компактная локальная модель для структурированного вывода данных.
Ключевые особенности
- Базируется на архитектуре Qwen3.5-0.8B с модификацией весовых пространств (weight-space programming).
- Весит около 1.50 ГБ в единственном файле safetensors со всеми 752 миллионами параметров.
- Улучшенное следование инструкциям: модель выдает чистый JSON там, где прошлая версия сбоила.
- Работает «из коробки» на стандартной библиотеке transformers в среде вроде Colab или Kaggle на одной GPU.
Что можно сделать
- Интегрировать модель в локальные пайплайны обработки данных для генерации конфигурационных файлов в формате JSON.
- Использовать в качестве компактного парсера в проектах, где критически важен строгий синтаксис ответа.
- Проводить эксперименты с модификацией весов (weight-space programming) и точным следованием текстовым промптам.
Пример
import json
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "efe-T/WeightSeek-Format22-0.8B"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
repo, dtype=torch.float16, device_map="cuda", attn_implementation="eager"
).eval()
messages = [{
"role": "user",
"content": "One JSON object is needed for a config file. Set the property 'elmwood' to the string 'almondwood'.",
}]
prompt = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True, enable_thinking=False
)
inputs = tokenizer(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
with torch.inference_mode():
output = model.generate(
**inputs, do_sample=False, max_new_tokens=None,
max_length=model.config.max_position_embeddings,
eos_token_id=[248044, 248046], pad_token_id=tokenizer.pad_token_id,
)
answer = tokenizer.decode(output[0, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(json.loads(answer)) # {'elmwood': 'almondwood'}
Подробнее
Бенчмарки: на тесте из 105 промптов модель набрала 50 баллов против 42 у родительской версии (включая 8 успешных ответов в формате Plain JSON вместо 0).Требования к железу: запускается на стандартной GPU (например, Colab T4) благодаря FP16 и размеру в 1.50 ГБ.
Ограничения: улучшение JSON зафиксировано в основном на английском языке (на турецких промптах результат остался нулевым). Распространяется под лицензией Apache 2.0.










Комментарии