QueryLM 3.3B
базовая модель с поддержкой встроенного поиска
2 мин чтенияобновлено
QueryLM 3.3B (DCLM-Edu) — это языковая модель на 3.3 миллиарда параметров, обученная с нуля на веб-текстах с внедренными поисковыми блок-фрагментами. Во время претрейна в ключевых точках в текст добавлялись поисковые запросы и релевантные выдержки из документов, благодаря чему модель научилась самостоятельно формулировать поисковые запросы и использовать найденную информацию для генерации текста. Архитектура модели выполнена в стиле nanochat (декодер, 32 слоя, контекст 4,095 токенов). Модель пригодится исследователям и разработчикам, изучающим интеграцию поисковых систем в языковые модели на этапе предварительного обучения.
Ключевые особенности
- Обучена на корпусе DCLM-Edu с внедренными блоками поисковых запросов и ответов.
- Основана на архитектуре nanochat-style decoder с шириной 2,816 и 22 головами внимания.
- Поставляется с кастомным кодом загрузки (`modeling_nanochat.py`), требующим параметр `trust_remote_code=True`.
- Представляет собой исследовательский артефакт для изучения моделей, умеющих искать информацию в процессе генерации.
Что можно сделать
- Настроить цикл генерации с внешним поисковым движком (например, через BM25 или поисковый API), чтобы модель запрашивала актуальные данные.
- Интегрировать модель в кастомные пайплайны обработки текста с помощью библиотеки `transformers`.
- Экспериментировать с генерацией поисковых запросов внутри специального токена ``.
Пример
Пример использования модели для генерации поискового запроса и ответа на его основе:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Kausp11/querylm-dclm-3.3b"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, torch_dtype=torch.bfloat16).eval()
Q_OPEN = tok.convert_tokens_to_ids("")
print("Query token ID:", Q_OPEN)
Подробнее
Параметры: 3.3B reported (5.5B stored, включая эмбеддинги значений).Токенизатор: SmolLM2 с четырьмя дополнительными токенами для работы со средой поиска.
Ограничения: базовая модель (просто дописывает текст, без чат-формата и инструкций по безопасности), работает только с английским языком.
Требования: `transformers` с поддержкой выполнения удаленного кода.










Комментарии