Lucia 2B v1.2-nc
анализ изображений с цепочкой мыслей
2 мин чтения
Новый LoRA-адаптер (небольшая надстройка над базовой моделью) для Qwen/Qwen3.5-2B, который учит языковую модель внимательно изучать картинку и выдавать структурированный разбор: пошаговые мысли, подписи, теги, промпты и вопросы с ответами. Версия 1.2-nc является некоммерческим аналогом модели Lucia 2B v1.2 и обучена на расширенном датасете из более чем 184 тысяч примеров. Благодаря специальной цели обучения модель сохраняет поведение базовой модели на обычных текстовых запросах и выдает разбор только тогда, когда это требуется. Пригодится разработчикам и исследователям для детального описания изображений и работы с мультимодальными данными.
Ключевые особенности
- Обучена на 184 562 примерах из датасета
thought-symbolic-image-recaptioned. - Сохраняет поведение базовой модели
Qwen3.5-2Bна обычных текстовых запросах благодаря специальной цели обучения. - Поддерживает разную глубинную детализацию разбора: от короткого просмотра до детального анализа с критикой и вопросами.
- Улучшено распознавание текста на изображениях по сравнению с первой версией.
Что можно сделать
- Использовать адаптер в локальных пайплайнах для генерации подробных промптов, тегов и описаний по картинкам.
- Автоматизировать разбор визуальных данных в исследовательских проектах (с учетом некоммерческой лицензии CC BY-NC-SA 4.0).
- Интегрировать модель в связке с библиотеками
transformersиpeftдля анализа структуры фотографий и сцен.
Пример
import torch
from peft import PeftModel
from PIL import Image
from transformers import AutoModelForMultimodalLM, AutoProcessor
processor = AutoProcessor.from_pretrained("AbstractPhil/qwen3.5-2b-think-symbolic-image-nc")
model = AutoModelForMultimodalLM.from_pretrained("Qwen/Qwen3.5-2B", dtype=torch.bfloat16, device_map="cuda")
model = PeftModel.from_pretrained(model, "AbstractPhil/qwen3.5-2b-think-symbolic-image-nc").merge_and_unload().eval()
image = Image.open("picture.jpg").convert("RGB")
prompt = ("Look at this picture and think it through in writing, a closer look; then write a caption and a prompt or tags, "
"and the questions a careful looker would still ask, each as `question: what -> answer [record, chain or unknown]`.")
messages = [{"role": "user", "content": [{"type": "image", "image": image}, {"type": "text", "text": prompt}]}]
text = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, enable_thinking=False)
inputs = processor(text=[text], images=[image], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=800, do_sample=False)
print(processor.batch_decode(out[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True)[0])
Подробнее
Берёт за основу Qwen/Qwen3.5-2B и добавляет LoRA-адаптер объёмом в 21 815 шагов обучения.Требует transformers 5 и peft 0.18 или новее, а также видеокарту с поддержкой CUDA и bfloat16.
Распространяется по лицензии CC BY-NC-SA 4.0 (только для некоммерческого использования из-за датасета изображений).










Комментарии