Contextual-Sentence-Creator
генератор предложений с заданным термином
2 min read
Это LoRA-файнтюн ibm-granite/granite-4.2-3b (3,66 млрд параметров), слитый в базовую модель. По термину, короткому контексту и числу n он возвращает JSON-массив ровно из n естественных английских предложений по 6–18 слов. Автор — danielrosehill; модель сделана для записи ASR-данных по специализированной лексике.
Ключевые особенности
- На входе — JSON с
term,context,nи необязательнымkind. - Возвращает валидный JSON и ровно
nпредложений — по оценке автора, 100% на 309 отложенных вызовах. - Термин должен встречаться один раз и в заданном написании; предложения — 6–18 слов.
- Есть GGUF-версия и датасет
danielrosehill/term-context-sentences. - Подходит для генерации фраз под запись и проверку ASR, включая ивритскую лексику в романизации.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import json
repo = 'danielrosehill/Contextual-Sentence-Creator'
tok = AutoTokenizer.from_pretrained(repo); model = AutoModelForCausalLM.from_pretrained(repo, dtype='auto')
SYSTEM = 'Write exactly n different natural English sentences, 6 to 18 words each, that each use the term once, exactly as given, in the meaning the context describes. Reply with a JSON array of strings.'
user = json.dumps({'term':'gemach','context':'a free community lending fund','n':5})
ids = tok.apply_chat_template([{'role':'system','content':SYSTEM},{'role':'user','content':user}], add_generation_prompt=True, return_tensors='pt')
out = model.generate(ids, max_new_tokens=60*5+40, do_sample=True, temperature=0.8, top_p=0.95)
Подробнее
Оценка: valid JSON — 100%, ровно n — 100%, прохождение gate — 95,7% (у Gemini 3.1 Flash-Lite — 99,7%); все n с первой попытки — 72,8% против 96,8%.Обучение: LoRA r=32, alpha=32, dropout 0.05, все linear-слои, lr 2e-4 cosine, 2 эпохи, batch 16, 1676 шагов, bf16, одна L40S за 27 мин; 13 408 примеров по 8 342 терминам.
Ограничения: только английский; лексика сильно смещена к израильской; данные частично написаны LLM и не проверены на фактологию — модель пишет правдоподобные, а не истинные предложения. VRAM для инференса в карточке не указан.










Comments